JP6653507B2 - Information terminal, position estimation method, and position estimation program - Google Patents
Information terminal, position estimation method, and position estimation program Download PDFInfo
- Publication number
- JP6653507B2 JP6653507B2 JP2016056139A JP2016056139A JP6653507B2 JP 6653507 B2 JP6653507 B2 JP 6653507B2 JP 2016056139 A JP2016056139 A JP 2016056139A JP 2016056139 A JP2016056139 A JP 2016056139A JP 6653507 B2 JP6653507 B2 JP 6653507B2
- Authority
- JP
- Japan
- Prior art keywords
- particles
- information
- area
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Description
本発明は、移動した際の自装置の位置を推定する情報端末、位置推定方法、および位置推定プログラムに関する。 The present invention relates to an information terminal, a position estimation method, and a position estimation program for estimating the position of the own device when moving.
従来から、歩行者であるユーザを目的地まで案内する歩行者ナビゲーションシステムがスマートフォン等の情報端末に搭載され、広く利用されている。このような歩行者ナビゲーションシステムでは、ＧＰＳ（Global Positioning System）から受信するＧＰＳ信号に含まれている位置情報により、情報端末の位置を測位し、地図データ上に表示させる。 2. Description of the Related Art Conventionally, a pedestrian navigation system for guiding a pedestrian user to a destination is mounted on an information terminal such as a smartphone and is widely used. In such a pedestrian navigation system, the position of the information terminal is measured based on position information included in a GPS signal received from a GPS (Global Positioning System), and is displayed on map data.
しかしながら、歩行者ナビゲーションシステムは、ＧＰＳ信号を受信可能な場所においては、高精度に情報端末の位置を測位することができるが、例えば屋内などのＧＰＳ信号が受信できない場所では、情報端末の位置を正確に推定することができない。 However, the pedestrian navigation system can accurately determine the position of the information terminal in a place where the GPS signal can be received, but in a place where the GPS signal cannot be received, such as indoors, the position of the information terminal is determined. It cannot be estimated accurately.
そのため、最近では、様々な手法を用いて屋内での情報端末の位置を推定する方法が提案され、実用化されている。例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）（登録商標、以下省略）のアクセスポイント、ＢＬＥ（Bluetooth（登録商標） Low Energy）技術を用いたビーコン等の機器が屋内に設置されている場合には、これらを利用することにより、屋内であっても情報端末の位置を正確に推定することができる。 Therefore, recently, a method of estimating the position of an information terminal indoors using various techniques has been proposed and put into practical use. For example, when equipment such as a Wi-Fi (Wireless Fidelity) (registered trademark, hereinafter abbreviated) access point and a beacon using BLE (Bluetooth (registered trademark) Low Energy) technology are installed indoors, By using, it is possible to accurately estimate the position of the information terminal even indoors.
しかしながら、Ｗｉ−Ｆｉアクセスポイント等の機器を屋内に設置して情報端末の位置推定に利用する場合には、事前にデータベースを構築しておく必要があることもあり、設置コストおよび管理コストがかかってしまう。また、Ｗｉ−Ｆｉアクセスポイント等の機器をすべての屋内に設置することは非常に困難であるため、利用できる場所が制限されてしまう。 However, when a device such as a Wi-Fi access point is installed indoors and used for estimating the position of an information terminal, it is necessary to construct a database in advance, and installation and management costs are high. Would. Further, since it is very difficult to install a device such as a Wi-Fi access point in every room, available places are limited.
そこで、このような特別な機器を設置することなく、情報端末に搭載されている各種センサ等を用いて自装置の位置を推定する方法が提案されている（例えば、非特許文献１および非特許文献２参照）。
Therefore, there has been proposed a method of estimating the position of the own device using various sensors mounted on the information terminal without installing such special equipment (for example, Non-Patent
しかしながら、従来の方法では、縮尺および方位を示す情報を含む正確な地図データを用いることを前提としている。そのため、縮尺および方位が不明な不正確な地図データを用いた場合には、情報端末の位置を正確に推定することができないという問題点があった。 However, the conventional method is based on the assumption that accurate map data including information indicating the scale and the direction is used. Therefore, when inaccurate map data whose scale and orientation are unknown are used, there is a problem that the position of the information terminal cannot be accurately estimated.
そこで、本発明の目的は、上記従来の技術における問題点に鑑みてなされたものであって、縮尺および方位に関する情報を含まない地図データを用いた場合であっても、自装置の位置を正確に推定することが可能な情報端末、位置推定方法、および位置推定プログラムを提供することにある。 Therefore, an object of the present invention has been made in view of the above-described problems in the related art, and even when map data that does not include information on scale and azimuth is used, the position of the own device can be accurately determined. It is an object of the present invention to provide an information terminal, a position estimating method, and a position estimating program capable of estimating the position.
本発明に係る情報端末は、環境情報を取得し、センサ情報として出力するセンサと、ユーザが通行する領域である通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部と、ユーザの操作に応じた操作信号を出力する操作部と、前記地図データ上での自装置の位置を推定する位置推定部を有するとともに、前記推定された自装置の位置を示す表示を前記地図データに重畳させて前記表示部に表示させる制御部とを備え、前記位置推定部は、前記センサから出力された前記センサ情報に基づき、前記地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力するデッドレコニング処理部と、前記デッドレコニング情報に基づき、前記操作部を介して入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化部と、前記デッドレコニング情報に基づき、配置された前記複数の粒子が自装置の移動に応じて移動する位置を推定し、推定した前記位置に前記複数の粒子を移動させる予測計算部と、移動した前記複数の粒子のうち、前記非通路領域に移動した粒子を除外する尤度計算部と、前記尤度計算部の処理によって残った複数の粒子に基づき、自装置が移動した際の現在位置を推定する位置計算部と、前記尤度計算部の処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリング部とを有し、前記予測計算部は、前記リサンプリング部によって再配置された複数の粒子を、次回の処理の初期値として用いるものである。 An information terminal according to the present invention obtains environmental information and outputs the sensor information as sensor data, and map data having a plurality of areas including a passage area which is an area through which a user passes and a non-passage area different from the passage area. And an operation unit that outputs an operation signal according to a user operation, and a position estimation unit that estimates the position of the own device on the map data, and the estimated position of the own device. And a control unit that superimposes a display indicating the map data on the map data and displays the map data on the display unit, wherein the position estimating unit is based on the sensor information output from the sensor, a dead reckoning unit for outputting a dead reckoning information for estimating the current position, based on said dead reckoning information, the map de input via the operating unit Around the position on the map, a plurality of particles having a state including at least information on coordinates indicating the position on the map data, information on the scale of the map data, and information on the azimuth as initial values. An initialization unit, based on the dead reckoning information, estimates a position where the plurality of arranged particles move according to the movement of the own device, and a prediction calculation unit that moves the plurality of particles to the estimated position. Of the plurality of particles that have moved, a likelihood calculation unit that excludes particles that have moved to the non-passage region, and a plurality of particles remaining by the processing of the likelihood calculation unit. A position calculation unit for estimating the current position, and a plurality of particles having the same number as the plurality of particles of the initial value, based on the plurality of particles remaining by the processing of the likelihood calculation unit, A resampling unit for relocating to a position on the map data indicated by the information on the included coordinates, wherein the prediction calculation unit processes the plurality of particles relocated by the resampling unit in a next process. Is used as the initial value of .
以上のように、本発明によれば、地図データの縮尺および方位に関する情報を取得し、取得した縮尺および方位の情報に基づき、自装置が移動する位置を推定するため、縮尺および方位に関する情報を含まない地図データを用いた場合であっても、自装置の位置を正確に推定することが可能になる。 As described above, according to the present invention, information on the scale and azimuth of the map data is obtained, and based on the obtained information on the scale and azimuth, the information on the scale and azimuth is estimated in order to estimate the position to which the own apparatus moves. Even when map data not included is used, it is possible to accurately estimate the position of the own device.
実施の形態１．
以下、本発明の実施の形態１に係る情報端末について説明する。
本実施の形態１では、情報端末に設けられたカメラ等の撮像装置を用いて撮像して得られる画像データである地図データ、または予め取得した地図データを用い、この地図データ上における情報端末の現在位置を推定して情報端末に表示させる。
Hereinafter, the information terminal according to
In the first embodiment, map data, which is image data obtained by using an imaging device such as a camera provided in the information terminal, or map data obtained in advance, and the information terminal The current position is estimated and displayed on the information terminal.
概略的には、情報端末は、この情報端末に一般的に搭載されている各種センサの検出結果に基づき、地図データ上での自装置の現在位置を推定するための情報であるデッドレコニング情報（詳細は後述する）を出力する。
そして、情報端末は、このデッドレコニング情報と、ユーザによって入力された地図データ上での位置を示す情報とに基づき、地図データの縮尺および方位に関する情報を取得し、これらの情報とデッドレコニング情報とに基づき、情報端末が移動する位置を推定する。
Schematically, the information terminal performs dead reckoning information (information for estimating the current position of its own device on the map data, based on the detection results of various sensors generally mounted on the information terminal. The details will be described later).
Then, the information terminal obtains information on the scale and orientation of the map data based on the dead recording information and the information indicating the position on the map data input by the user, and obtains the information and the dead recording information. The position to which the information terminal moves is estimated based on.
図１は、本実施の形態１について説明するための概略図である。
図１に示すように、本実施の形態１では、例えばユーザが携帯する情報端末の撮像装置によって施設に設置されている図１（ａ）に示すような案内図等を撮像する。この場合、情報端末には、図１（ｂ）に示すように、撮像によって得られた画像データである屋内地図データ上に、この情報端末の推定した現在位置（以下、「推定現在位置」と適宜称する）を重畳させて表示することができる。
なお、図１（ｂ）に示す例では、推定した現在位置の履歴を残した状態で表示されているが、これに限らず、例えば現時点での推定現在位置のみを表示させるようにしてもよい。
FIG. 1 is a schematic diagram for explaining the first embodiment.
As shown in FIG. 1, in the first embodiment, for example, a guide map or the like as shown in FIG. 1A installed in a facility is captured by an imaging device of an information terminal carried by a user. In this case, as shown in FIG. 1B, the information terminal estimates the current position of the information terminal (hereinafter referred to as “estimated current position”) on indoor map data, which is image data obtained by imaging. (Referred to as appropriate) can be superimposed and displayed.
In the example shown in FIG. 1B, the history of the estimated current position is displayed, but the present invention is not limited to this. For example, only the estimated current position at the present time may be displayed. .
また、本実施の形態１においては、主に、複数の店舗が収容された施設内の様子を示す画像データを屋内地図データとして扱う。この屋内地図データは、例えば、施設内に設置された案内板等の屋内地図を撮像したものであり、このような施設において、各店舗と店舗の間に設けられた通路とを含むデータとする。 Further, in the first embodiment, mainly, image data indicating a state in a facility accommodating a plurality of stores is handled as indoor map data. The indoor map data is, for example, an image of an indoor map such as a guide board installed in the facility, and is data including a store and a passage provided between the stores in such a facility. .
［情報端末の構成］
図２は、本実施の形態１に係る情報端末１の構成の一例を示すブロック図である。
情報端末１は、例えば、携帯電話、スマートフォン、タブレット、ＰＤＡ（Personal Digital Assistant）等の、各種情報の表示、再生および記録が可能であり、ユーザが移動する際に、共に移動可能な端末である。
図２に示すように、情報端末１は、画像データ取得部としての撮像部２、画像信号処理部３、表示部４、操作部５、加速度センサ６、地磁気センサ７、ジャイロセンサ８、記憶部９および制御部１０を備えている。なお、図２に示す例では、本実施の形態１の特徴に関連する部分についてのみ図示し、それ以外の部分については、図示を省略する。
[Configuration of information terminal]
FIG. 2 is a block diagram showing an example of a configuration of the
The
As shown in FIG. 2, the
撮像部２は、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子に受光された光を撮像信号に変換し、サンプリングおよびノイズ除去等の処理を行うことによって撮像信号を出力する。
この例において、撮像部２は、被写体として施設内に設けられた屋内地図を撮像する。
The
In this example, the
画像信号処理部３は、撮像信号に対してＡＧＣ（Auto Gain Control）処理、ホワイトバランス処理、γ（ガンマ）補正、色調補正、シャープネス補正等の信号処理を行うとともに、この撮像信号を、例えば輝度信号と色差信号とからなる画像データに変換する。
The image
表示部４は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）等によって構成され、画像信号処理部３から供給された画像データを表示可能な形式に変換して表示する。表示部４としては、例えば、ＬＣＤまたは有機ＥＬ上にタッチセンサを有するタッチパネルが積層されたタッチパネルディスプレイを用いることができる。
The
操作部５は、この情報端末１を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた操作信号を出力する。操作部５には、例えば、電源のＯＮおよびＯＦＦを切り替える電源キー、撮影モードや再生モードといった情報端末１における動作モードを切り替えるモード切替キー等が設けられている。これらの各種キーは、例えば、情報端末１の筐体にハードウェアキーとして設けるようにしてもよいし、表示部４がタッチパネルディスプレイの場合には、各種キーがソフトウェアキーとして表示部４に表示されるようにしてもよい。
The
加速度センサ６、地磁気センサ７およびジャイロセンサ８は、情報端末１に入力される各種の環境情報を取得するためのセンサである。
加速度センサ６は、例えば、この情報端末１のローカル座標系（ＬＣＳ；Local Coordinate System）における表示部４での表示画面の法線方向を示すｚ軸方向と、当該表示画面の横方向を示すｘ軸方向と、当該表示画面の縦方向を示すｙ軸方向との３方向の加速度を検出し、センサ情報として出力する。
地磁気センサ７は、ローカル座標系におけるｘ軸方向、ｙ軸方向およびｚ軸方向の３方向の地磁気の強さを検出し、センサ情報として出力する。
ジャイロセンサ８は、ローカル座標系における角速度を検出し、センサ情報として出力する。
The
The
The
The
記憶部９は、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）等で構成され、後述する制御部１０の制御に基づき、撮像部２によって撮像された画像データ等を記憶する。なお、記憶部９としては、これに限らず、例えば外部に設けられたＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）メモリカード等のフラッシュメモリを用いることもできる。
The
制御部１０は、図示しないＲＡＭ（Random Access Memory）をワークメモリとして用い、図示しないＲＯＭ（Read Only Memory）に予め記憶されたプログラムに従い、この情報端末１の全体の動作を制御する。
The
また、制御部１０は、画像解析部２０および位置推定部３０を備えている。
画像解析部２０は、入力された画像データを構成する複数の画素のうち、画素の色を示す画素値が同等である画素によってブロックを形成する処理を行う。これにより、例えば屋内地図データを画像データとして用いた場合に、施設内の同一店舗および通路を示す領域がそれぞれ同一のブロックとして形成され、施設内の店舗および通路の位置関係を取得することができる。そして、本実施の形態１における画像解析部２０は、これらのブロック化された領域から、ユーザが通行する領域である通路領域を推定し、推定した通路領域を示す通路情報を含む画像情報を生成する。
なお、「画素値が同等である」とは、比較する複数の画素における画素値が予め設定された範囲内である場合のことをいう。
Further, the
The
Note that “pixel values are equivalent” means that pixel values of a plurality of pixels to be compared are within a preset range.
位置推定部３０は、デッドレコニングおよび粒子フィルタを用いて、画像データ上での情報端末１の現在位置を推定する処理を行う。
デッドレコニングは、加速度センサ６、地磁気センサ７およびジャイロセンサ８などによって得られるセンサ情報に基づき、情報端末１の位置を推定する手法である。
粒子フィルタは、現在位置として推定された範囲内に、後述する算出方法を用いて得られる状態を有する、情報端末１の位置を推定するためのモデルとしての複数の粒子を配置し、配置されたそれぞれの粒子を情報端末１の移動に応じて移動させることによって、情報端末１の位置を推定する手法である。
The
Dead reckoning is a method of estimating the position of the
The particle filter arranges and arranges a plurality of particles as a model for estimating the position of the
制御部１０は、位置推定部３０で推定された現在位置を示す表示を、画像信号処理部３から出力された画像データ上に重畳させ、得られた画像データを、画像信号処理部３を介して表示部４に表示させる。
The
制御部１０は、例えばマイクロコンピュータ、ＣＰＵ（Central Processing Unit）などの演算装置上で実行されるソフトウェア、上述した画像解析部２０および位置推定部３０における処理を実現する回路デバイスなどのハードウェア等で構成される。
The
（画像解析部）
図３は、図２の画像解析部２０の構成の一例を示すブロック図である。
図３に示すように、画像解析部２０は、エッジ検出処理部２１、領域分割処理部２２、ラベリング処理部２３および通路領域推定部２４を備えている。なお、各部における処理の詳細については、後述する。
(Image analysis unit)
FIG. 3 is a block diagram illustrating an example of the configuration of the
As shown in FIG. 3, the
エッジ検出処理部２１は、入力された画像データに対してエッジ検出処理を行い、画像データを構成する複数の画素のうち隣接する画素との間で画素値が大きく変化している部分、すなわち変化点を示すエッジを検出する。そして、エッジ検出処理部２１は、検出されたエッジを画像化したエッジ画像データを生成して出力する。
The edge
領域分割処理部２２は、入力された画像データに対して領域分割処理を行い、画像データ中の複数の画素で一つの領域を形成し、同一領域を構成する画素の画素値を共通の画素値に変換する。これにより、領域分割処理部２２は、画像データを複数の領域に分割した領域分割画像データを生成して出力する。
The region
ラベリング処理部２３は、エッジ画像データおよび領域分割画像データに基づき、領域分割画像データ中の各領域のうち同一領域とすべき複数の領域を統合し、この領域内の画素に対して同一のラベルを付与するラベリング処理を行う。そして、ラベリング処理部２３は、同一のラベルが付与された複数の画素で形成される複数のラベリング領域を有するラベリング画像データを生成して出力する。
ここで、ラベルとは、１つのラベリング領域を形成する複数の画素が、互いに共通する領域であるラベリング領域を形成する画素であることを示す情報のことをいう。また、ラベリング画像データには、それぞれのラベリング領域に関するラベリング情報が含まれている。
The
Here, the label refers to information indicating that a plurality of pixels forming one labeling area are pixels forming a labeling area which is a common area. Further, the labeling image data includes labeling information regarding each labeling area.
通路領域推定部２４は、ラベリング処理部２３から出力されたラベリング画像データに基づき、ラベリング画像データ中のラベリング領域の中から、通路領域を示すラベルを推定する通路領域推定処理を行う。そして、通路領域推定部２４は、通路領域を示す通路情報を含む画像情報を出力する。
The passage
（位置推定部）
図４は、図２の位置推定部３０の構成の一例を示すブロック図である。
図４に示すように、位置推定部３０は、デッドレコニングに対応するＤＲ（Dead Reckoning）処理部３１と、粒子フィルタに対応する粒子初期化部３２、予測計算部３３、尤度計算部３４、リサンプリング部３５および位置計算部３６とを備えている。なお、各部における処理の詳細については、後述する。
(Position estimation unit)
FIG. 4 is a block diagram illustrating an example of the configuration of the
As shown in FIG. 4, the
ＤＲ処理部３１は、加速度センサ６、地磁気センサ７およびジャイロセンサ８などによって得られるセンサ情報に基づき、画像データ上での情報端末１の現在位置を推定するためのデッドレコニング情報（以下、「ＤＲ情報」と適宜称する）を取得するＤＲ処理を行う。このＤＲ処理部３１においてＤＲ処理を行う場合には、例えば、スマートＰＤＲ（Smartphone-Based Pedestrian Dead Reckoning）と称する手法を用いる。
The
スマートＰＤＲは、情報端末１として例えばスマートフォンを用いた場合に、このスマートフォンに一般的に搭載されている機能および演算装置を用いて情報端末１の位置を推定する手法である。具体的には、スマートＰＤＲ処理では、スマートフォンに一般的に搭載されている加速度センサ６、地磁気センサ７およびジャイロセンサ８などを用いる。そして、スマートＰＤＲ処理では、これらの各種センサによって得られるセンサ情報に基づき、情報端末１を携帯するユーザの歩数を示すステップイベント回数、ユーザの進行方向、１ステップあたりの移動距離であるユーザの歩幅を検出または推定する。すなわち、スマートＰＤＲ処理では、情報端末１を携帯するユーザがどの方向にどれだけ移動したのかを示すＤＲ情報を１歩毎に出力する。
なお、以下の説明では、「情報端末１（ユーザ）の移動」を「ステップイベント」と称し、例えば、「ユーザが１歩だけ歩いたことを検出する」ことを、「１ステップイベントを検出する」のように記載するものとする。
The smart PDR is a method of estimating the position of the
In the following description, “movement of the information terminal 1 (user)” is referred to as “step event”. For example, “detecting that the user has walked one step” is referred to as “detecting a one-step event”. ].
粒子初期化部３２は、ＤＲ処理部３１から出力されるＤＲ情報に基づき、情報端末１の最初の位置を示す位置情報と、次に移動した際の位置を示す位置情報とを取得し、現在位置に対して配置すべき複数の粒子を初期化して配置する粒子初期化処理を行う。
The
予測計算部３３は、ＤＲ処理部３１から出力されるＤＲ情報に基づき、１ステップイベントが検出される毎に、粒子初期化部３２または後述するリサンプリング部３５における処理によって配置されている複数の粒子が移動する位置を推定する予測計算処理を行う。そして、予測計算部３３は、予測計算処理による推定結果に応じて配置されている複数の粒子を移動させる。
Based on the DR information output from the
尤度計算部３４は、画像解析部２０から出力された画像情報に含まれる通路情報に基づき、予測計算部３３による予測計算処理の結果に応じて移動した複数の粒子の尤度を算出する尤度計算処理を行い、尤度の低い粒子、すなわち複数の粒子のうち適切に移動しなかった粒子を除外する。
The
リサンプリング部３５は、尤度計算部３４での尤度計算処理によって残った複数の粒子の中から１つの粒子だけをランダムに選択し、選択した粒子を複製して再配置する処理を予め設定された回数だけ行うリサンプリング処理を行う。そして、リサンプリング部３５は、複製された複数の粒子を予測計算部３３に出力するとともに、リサンプリング処理で用いた、尤度計算処理によって残った複数の粒子を破棄する。
The
位置計算部３６は、尤度計算部３４での尤度計算処理によって残った複数の粒子の位置および方位を含む状態を示す情報に基づき、情報端末１の推定現在位置を決定する。
The
なお、上述では、図２〜図４に示す情報端末１の各部がそれぞれハードウェアで構成されるように説明したが、これはこの例に限定されない。すなわち、情報端末１における画像信号処理部３、制御部１０、画像解析部２０および位置推定部３０、ならびに、画像解析部２０および位置推定部３０が有する各部の全てまたは一部を、ＣＰＵ上でプログラムを実行させることで構成することも可能である。
プログラムは、情報端末１が有する図示しないＲＯＭに予め記憶させておいてもよいし、ＳＤメモリカードといった記録媒体に記録された状態で提供されてもよい。インターネットなどの通信ネットワークを介してプログラムを提供することもできる。提供されたプログラムは、情報端末１が有する図示されない記憶部９などに記憶され、ＣＰＵに読み込まれて実行される。
In the above description, each unit of the
The program may be stored in a ROM (not shown) of the
［情報端末における各種処理］
次に、画像解析部２０の各部で行われる処理について説明する。
ここでは、エッジ検出処理部２１におけるエッジ検出処理、領域分割処理部２２における領域分割処理、ラベリング処理部２３におけるラベリング処理、および通路領域推定部２４における通路領域推定処理について説明する。
[Various processing in information terminals]
Next, processing performed by each unit of the
Here, the edge detection processing in the edge
（エッジ検出処理）
エッジ検出処理を行う場合には、例えば、従来から知られているキャニー法を用いる。
キャニー法は、入力された画像データを平滑化した画像データに基づきＤｏＧ（Difference of Gaussian）画像データを生成し、このＤｏＧ画像に対して細線化処理を行う。そして、細線化処理が行われた画像データに対するヒステリシス閾値処理により、ＤｏＧ画像データ中に残ったエッジ部分候補のうち、まとめられるものを１つに連結することによってエッジ画像データを生成するという手法である。これにより、エッジ部分の画素値が例えば「２５５」であり、それ以外の部分の画素値が例えば「０」であるエッジ画像データ、すなわちエッジ部分のみが白画素で構成され、それ以外の部分が黒画素で構成されたエッジ画像データを生成することができる。
(Edge detection processing)
When performing the edge detection processing, for example, a conventionally known Canny method is used.
The Canny method generates DoG (Difference of Gaussian) image data based on image data obtained by smoothing input image data, and performs thinning processing on the DoG image. Then, by performing a hysteresis threshold value process on the image data on which the thinning process has been performed, edge image data is generated by linking, to one, the edge portion candidates remaining in the DoG image data. is there. As a result, edge image data in which the pixel value of the edge portion is, for example, “255” and the pixel value of the other portion is, for example, “0”, that is, only the edge portion is formed of white pixels, and the other portion is Edge image data composed of black pixels can be generated.
なお、エッジ検出処理の方法は、上述したキャニー法を用いる場合に限られない。例えば、入力画像データからエッジを抽出することができれば、これ以外の方法を用いてもよい。 In addition, the method of the edge detection processing is not limited to the case where the above-described Canny method is used. For example, other methods may be used as long as edges can be extracted from the input image data.
図５は、図３のエッジ検出処理部２１で生成されるエッジ画像データについて説明するための概略図である。
エッジ検出処理部２１は、図５（ａ）に示す入力画像データに対してエッジ検出処理を行うことにより、図５（ｂ）に示すエッジ画像データを生成する。このエッジ画像データにおいて、エッジとして検出された画素は、例えば画素値が「２５５」の白画素となる。また、それ以外の画素は、例えば画素値が「０」の黒画素となる。
FIG. 5 is a schematic diagram for describing edge image data generated by the edge
The edge
（領域分割処理）
領域分割処理を行う場合には、例えば、従来から知られている平均値シフト法（Mean Shift法）を用いるが、これに限らず、入力画像データから複数の分割領域を形成することができれば、平均値シフト法以外の方法を用いてもよい。
(Area division processing)
When performing the area division processing, for example, a conventionally known mean shift method (Mean Shift method) is used. However, the present invention is not limited to this. If a plurality of division areas can be formed from input image data, A method other than the average shift method may be used.
図６は、図３の領域分割処理部２２で生成される領域分割画像データについて説明するための概略図である。
領域分割処理部２２は、図６（ａ）に示す入力画像データに対して領域分割処理を行うことにより、図６（ｂ）に示すような、領域毎に同一の画素値を有する画素からなる複数の分割領域が形成された領域分割画像データを生成する。
FIG. 6 is a schematic diagram for explaining the area division image data generated by the area
The area
（ラベリング処理）
図７は、図３のラベリング処理部２３で行われるラベリング処理について説明するための概略図である。
ラベリング処理は、エッジ画像データおよび領域分割画像データに基づき行われ、領域分割画像データ中の複数に分割されたそれぞれの領域において、同一の領域と判断された領域内の画素に対して同一のラベルを付与する。
(Labeling process)
FIG. 7 is a schematic diagram for explaining the labeling processing performed by the
The labeling process is performed based on the edge image data and the region-divided image data. In each of the plurality of regions in the region-divided image data, the same label is assigned to pixels in the region determined to be the same region. Is given.
具体的には、ラベリング処理では、まず、領域分割画像データに対して左上の画素からラスタスキャンし、ラベルが付与されていない画素（以下、「注目画素」と適宜称する）の探索を行う。
次に、注目画素を検出した場合には、領域分割処理によって得られる画素値等の画素に関する情報に基づき、この注目画素の上下左右に隣接する４つの画素（以下、「４近傍画素」と適宜称する）を調査する。そして、調査した４近傍画素中に、注目画素の画素値と同一または近い画素値を有する対象画素が存在した場合には、この対象画素に付与されたラベルと同一のラベルを注目画素に付与する。
Specifically, in the labeling process, first, the area-divided image data is raster-scanned from the upper left pixel, and a search is made for a pixel to which no label is assigned (hereinafter, appropriately referred to as a “pixel of interest”).
Next, when a target pixel is detected, four pixels adjacent to the target pixel above, below, left, and right (hereinafter, referred to as “four neighboring pixels” as appropriate) based on information about the pixel such as a pixel value obtained by the region division processing. Investigate). Then, when a target pixel having the same or close to the pixel value of the target pixel exists in the four neighboring pixels examined, the same label as the label assigned to the target pixel is assigned to the target pixel. .
ここで、注目画素および対象画素の画素値が近いか否かは、例えば、２つの画素におけるＲＧＢ色空間上での各成分Ｒ（Red）、Ｇ（Green）およびＢ（Blue）の画素値の差分と、予め設定された距離ｄとを、以下の式（１）に基づいて比較することによって判断する。なお、式（１）における「ｉ」および「ｋ」は、画像データ中の画素の横方向の座標を示す。また、「ｊ」および「ｌ」は、縦方向の座標を示す。すなわち、例えばＲ（ｉ，ｊ）は、座標（ｉ，ｊ）の画素におけるＲ成分の画素値を示す。 Here, whether or not the pixel values of the target pixel and the target pixel are close is determined, for example, by determining the pixel values of the components R (Red), G (Green), and B (Blue) in the RGB color space of the two pixels. The determination is made by comparing the difference with a preset distance d based on the following equation (1). Note that “i” and “k” in Expression (1) indicate the horizontal coordinates of the pixels in the image data. “J” and “l” indicate vertical coordinates. That is, for example, R (i, j) indicates the pixel value of the R component in the pixel at the coordinates (i, j).
２つの画素におけるＲ、ＧおよびＢの各成分の画素値の差分が式（１）を満足する場合には、注目画素および対象画素の色が同一または近いと判断し、対象画素に付与されたラベルと同一のラベルを注目画素に付与する。 When the difference between the pixel values of the R, G, and B components of the two pixels satisfies the expression (1), it is determined that the colors of the target pixel and the target pixel are the same or close, and the color is assigned to the target pixel. The same label as the label is assigned to the target pixel.
なお、注目画素に対する４近傍画素を調査する際には、エッジ画像データを参照し、エッジ画像中のエッジを形成しているエッジ画素の座標に対応する座標上の画素を、調査の対象から除外する。すなわち、注目画素に対する４近傍画素中にエッジ画素が含まれる場合、このエッジ画素の画素値については考慮しないようにする。これは、エッジ画素によって形成されたエッジが分割された各領域の境界を示すためである。 When examining the four neighboring pixels for the pixel of interest, reference is made to the edge image data, and pixels on coordinates corresponding to the coordinates of the edge pixels forming the edge in the edge image are excluded from the survey target. I do. That is, when an edge pixel is included in the four neighboring pixels with respect to the target pixel, the pixel value of the edge pixel is not considered. This is because the edge formed by the edge pixels indicates the boundary of each divided region.
このようにして領域分割画像データ中のすべての画素に対してラベルを付与することにより、図７（ｃ）に示すように、分割されたラベリング領域毎に異なるラベルを付与することができる。
また、画素値が近い画素に対して同一のラベルを付与することにより、本来同一の領域とされるべきであるにもかかわらず分割されてしまっていた領域同士を、同一のラベリング領域とすることができる。
By assigning labels to all the pixels in the area-divided image data in this manner, different labels can be assigned to the divided labeling areas as shown in FIG. 7C.
In addition, by assigning the same label to pixels having similar pixel values, areas that have been divided even though they should be originally the same area can be set as the same labeling area. Can be.
（通路領域推定処理）
通路領域推定処理では、ラベリング処理によってラベルが付与されたそれぞれのラベリング領域のうち、どのラベリング領域が通路領域であるのかを推定する。
ここでは、通路領域推定処理について説明する前に、まず、施設内の通路がどのようなものであるのかについて説明する。
(Passage area estimation processing)
In the passage area estimation processing, it is estimated which of the labeling areas labeled by the labeling processing is the passage area.
Here, before describing the passage area estimation process, first, what the passage in the facility looks like will be described.
通常、複数の店舗が収容された施設においては、ユーザが店舗間を自由に行き来できるように通路が設けられている。そして、このような通路は、以下に示すような第１〜第３の特徴を有しているものと推定することができる。 Usually, in a facility where a plurality of stores are accommodated, a passage is provided so that a user can freely move between stores. Then, it can be estimated that such a passage has the following first to third features.
第１の特徴は、通路の「面積」である。
上述したように、通路は、ユーザが店舗間を自由に行き来できるようにするために設けられている。そのため、通路は、施設内の各店舗に必ず隣接するように設けられており、また、ほとんどの通路が連続した領域を形成している。従って、通路領域は、各店舗等の領域よりも大きいものと考えることができる。
The first feature is the "area" of the passage.
As described above, the passage is provided to allow the user to freely move between stores. Therefore, the passage is provided so as to be always adjacent to each store in the facility, and almost all the passages form a continuous area. Therefore, the passage area can be considered to be larger than the area of each store or the like.
第２の特徴は、施設内に設置された案内板における通路の「色」である。
通常の案内板では、施設内に複数の通路が設けられている場合でも、同一の色を用いて複数の通路を表示することが多い。そのため、例えば、案内板に基づく画像データ中に、面積の大きさの差が小さい２つの領域が存在している場合で、これら２つの領域の色の差が小さいときには、両方の領域がともに通路領域であると考えることができる。
The second feature is the “color” of the passage in the guide plate installed in the facility.
In a normal guide board, even when a plurality of passages are provided in a facility, the plurality of passages are often displayed using the same color. Therefore, for example, in a case where two areas having a small area difference exist in the image data based on the guide board, and when the color difference between these two areas is small, both areas are in the path. Area.
第３の特徴は、「通路を囲む矩形の面積」である。
第１の特徴でも説明したように、通路は、施設内の各店舗に必ず隣接するように設けられている。また、このような通路は、通常、施設全体に行き渡るように設けられている。そのため、通路領域全体を囲むような矩形を考えた場合、この面積は、店舗等のそれぞれの領域を囲むような矩形の面積よりも大きいものと考えることができる。
このとき設定される矩形は、通路領域の「最大横長さ」および「最大縦長さ」によって定義することができる。「最大横長さ」は、通路領域における画像座標系でのｘ軸方向の最大座標値および最小座標値の差によって得ることができる。また、「最大縦長さ」は、当該通路領域における画像座標系でのｙ軸方向の最大座標値および最小座標値の差によって得ることができる。なお、このように定義された矩形は、すべての辺において通路領域の一部と接するため、以下の説明では、「通路を囲む矩形」を「外接矩形」と適宜称するものとする。
A third feature is “a rectangular area surrounding the passage”.
As described in the first feature, the passage is provided so as to be always adjacent to each store in the facility. Further, such a passage is usually provided so as to reach the entire facility. Therefore, when considering a rectangle that surrounds the entire passage area, this area can be considered to be larger than the area of the rectangle that surrounds each area such as a store.
The rectangle set at this time can be defined by the “maximum horizontal length” and the “maximum vertical length” of the passage area. The “maximum horizontal length” can be obtained from the difference between the maximum coordinate value and the minimum coordinate value in the x-axis direction in the image coordinate system in the passage area. The “maximum vertical length” can be obtained from the difference between the maximum coordinate value and the minimum coordinate value in the y-axis direction in the image coordinate system in the passage area. In addition, since the rectangle defined as described above is in contact with a part of the passage area on all sides, in the following description, the “rectangle surrounding the passage” will be appropriately referred to as “circumscribed rectangle”.
そこで、本実施の形態１では、ラベルが付与された各ラベリング領域において、上述した第１〜第３の特徴を順次比較することにより、画像データ中の通路領域を推定する。 Therefore, in the first embodiment, the passage area in the image data is estimated by sequentially comparing the above-described first to third features in each of the labeling areas to which the labels are added.
図８は、図３の通路領域推定部２４で行われる通路領域推定処理の流れの一例を示すフローチャートである。
まず、ステップＳ１において、通路領域推定部２４は、領域毎にラベルが付与されたラベリング画像データから、面積が最大となる第１のラベリング領域Ｌ１と、この第１のラベリング領域Ｌ１の次に面積が大きい第２のラベリング領域Ｌ２を抽出する。
FIG. 8 is a flowchart illustrating an example of the flow of the passage area estimation process performed by the passage
First, in step S1, the passage
次に、通路領域推定部２４は、第１のラベリング領域Ｌ１の面積を示す画素数と、第２のラベリング領域Ｌ２の面積を示す画素数に予め設定された係数αを乗じた値とを比較し、式（２）を満足するか否かを判断する（ステップＳ２）。ここでは、上述した第１の特徴についての判断を行う。なお、式（２）における「Ｌ１」および「Ｌ２」は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２の画素数を示す。また、係数αは、１より大きい値とする。
Next, the passage
式（２）を満足すると判断した場合（ステップＳ２；Ｙｅｓ）、通路領域推定部２４は、第１のラベリング領域Ｌ１が通路領域であると判断し、第１のラベリング領域Ｌ１が通路領域であることを示す通路情報を含む画像情報を出力する（ステップＳ３）。
一方、式（２）を満足しないと判断した場合（ステップＳ２；Ｎｏ）には、処理がステップＳ４に移行する。
If it is determined to satisfy equation (2) (Step S2; Yes), the passage
On the other hand, when it is determined that Expression (2) is not satisfied (Step S2; No), the process proceeds to Step S4.
次に、通路領域推定部２４は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２の色について、式（３）を満足するか否かを判断する（ステップＳ４）。ここでは、上述した第２の特徴についての判断を行う。なお、式（３）における「Ｌ１」および「Ｌ２」は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２内のすべての画素における画素値の平均を示す。
Next, the passage
式（３）を満足すると判断した場合（ステップＳ４；Ｙｅｓ）、通路領域推定部２４は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２が通路領域であると判断し、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２が通路領域であることを示す通路情報を含む画像情報を出力する（ステップＳ５）。
一方、式（３）を満足しないと判断した場合（ステップＳ４；Ｎｏ）には、処理がステップＳ６に移行する。
If it is determined to satisfy the equation (3) (step S4; Yes), the passage
On the other hand, when it is determined that Expression (3) is not satisfied (Step S4; No), the process proceeds to Step S6.
ステップＳ６において、通路領域推定部２４は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２のそれぞれを囲む外接矩形の面積を示す画素数を比較し、式（４）を満足するか否かを判断する。ここでは、上述した第３の特徴についての判断を行う。なお、式（４）における「Ｌ１」は、第１のラベリング領域Ｌ１を囲む外接矩形の領域における画素数を示す。また、「Ｌ２」は、第２のラベリング領域Ｌ２を囲む外接矩形の領域における画素数を示す。
In step S6, whether the passage
式（４）を満足すると判断した場合（ステップＳ６；Ｙｅｓ）、通路領域推定部２４は、第１のラベリング領域Ｌ１が通路領域であると判断し、第１のラベリング領域Ｌ１が通路領域であることを示す通路情報を含む画像情報を出力する（ステップＳ７）。
一方、式（４）を満足しないと判断した場合（ステップＳ６；Ｎｏ）、通路領域推定部２４は、第２のラベリング領域Ｌ２が通路領域であると判断し、第２のラベリング領域Ｌ２が通路領域であることを示す通路情報を含む画像情報を出力する（ステップＳ８）。
If it is determined to satisfy the equation (4) (Step S6; Yes), the passage
On the other hand, when it is determined not to satisfy the equation (4) (Step S6; No), the passage
次に、位置推定部３０で行われる位置推定処理について説明する。
なお、ここでは、位置推定部３０を構成する粒子初期化部３２、予測計算部３３、尤度計算部３４、リサンプリング部３５および位置計算部３６のそれぞれで行われる処理を含む全体的な処理を総称して「位置推定処理」と称する。
Next, a position estimation process performed by the
Here, the overall processing including the processing performed by each of the
（粒子の状態）
まず、各部で行われる処理を説明する前に、位置推定処理を行う際に用いられる粒子について説明する。
位置推定部３０では、上述したように粒子フィルタを用い、現在位置と推定された範囲内に複数の粒子を配置する。また、位置推定部３０は、配置された複数の粒子を情報端末１の移動に応じて移動させることにより、移動後の現在位置を推定する。
(Particle state)
First, before describing the processing performed by each unit, the particles used when performing the position estimation processing will be described.
The
ＤＲ処理部３１におけるスマートＰＤＲ処理によってｋ番目のステップイベントが検出された場合、複数の粒子のそれぞれは、式（５）に示す状態ｓｋを有している。
なお、式（５）において、「ｘｋ」および「ｙｋ」は、画像座標系（ＩＣＳ；Image Coordinate System）における粒子の位置である座標を示す。また、「ｍｐｐｋ（meter per pixel）」は、１画素あたりのグローバル座標系（ＧＣＳ；Global Coordinate System）における距離、すなわち画像データである屋内地図データの縮尺を示す。「θｋ」は、画像座標系におけるｘ軸方向をグローバル座標系に変換した際の方位を示す。
If k-th step event is detected by the smart PDR process in
In Equation (5), “x k ” and “y k ” indicate coordinates that are the positions of particles in an image coordinate system (ICS). “Mppp k (meter per pixel)” indicates a distance in a global coordinate system (GCS) per pixel, that is, a scale of indoor map data that is image data. “Θ k ” indicates the azimuth when the x-axis direction in the image coordinate system is converted to the global coordinate system.
本実施の形態１では、式（５）のように示される粒子の状態に含まれる各種の情報を用いることにより、情報端末１の位置を推定する。
In the first embodiment, the position of the
次に、粒子初期化部３２における粒子初期化処理、予測計算部３３における予測計算処理、尤度計算部３４における尤度計算処理、リサンプリング部３５におけるリサンプリング処理、および位置計算部３６における位置計算処理について説明する。
Next, a particle initialization process in the
（粒子初期化処理）
位置推定部３０で行われる位置推定処理を最初に行う際には、屋内地図データ上での情報端末１の初期位置が不明である。そこで、この粒子初期化処理では、情報端末１の初期位置を推定し、この初期位置に対応する、予め設定された数の複数の粒子を配置するための処理を行う。
ここで、複数の粒子のうちｉ番目の粒子における初期状態ｓ０ （ｉ）は、上述した式（５）に基づき、式（６）のように示すことができる。なお、粒子の初期状態を示す各種の値に付された「（ｉ）」は、その値がｉ番目の粒子のものであることを示す。
(Particle initialization processing)
When the position estimating process performed by the
Here, the initial state s 0 (i) of the i-th particle among the plurality of particles can be expressed as in Expression (6) based on Expression (5) described above. Note that “(i)” given to various values indicating the initial state of the particles indicates that the value is that of the i-th particle.
粒子初期化処理は、例えばユーザによって情報端末１の現在位置が指定されることによって行われる。具体的には、まず、ユーザが情報端末１の表示部４に表示された屋内地図データ上の２点をタップすることにより、情報端末１の現在位置が指定される。ここで、「タップ」とは、ユーザが指等を表示部４に接触させることをいう。
The particle initialization process is performed, for example, when the current position of the
まず、本実施の形態１における位置推定を行う際には、情報端末１の表示部４に表示された屋内地図データ上の現在位置に対応する位置がユーザによってタップされる。その後、ユーザが任意の歩数だけ移動した際に、移動先の現在位置に対応する屋内地図データ上の位置がタップされる。
First, when performing position estimation in the first embodiment, the user taps a position corresponding to the current position on the indoor map data displayed on the
図９は、図４の粒子初期化部３２で行われる粒子初期化処理について説明するための概略図である。
ユーザによってタップされた屋内地図データ上の２つ地点におけるそれぞれの座標は、図９のように示すことができるが、タップされた地点は、実際の地点からずれている可能性がある。そのため、ｎ点目のタップの際に実際の地点に位置する確率Ｐは、このようなずれをガウス分布Ｎのエラーモデルとした場合に、式（７）に基づき算出することができる。なお、式（７）における「σｔａｐ」は、ガウス分布Ｎの分散を示す。
FIG. 9 is a schematic diagram for explaining the particle initialization processing performed by the
The respective coordinates at two points on the indoor map data tapped by the user can be shown as in FIG. 9, but the tapped point may be shifted from the actual point. Therefore, the probability P of being located at the actual point at the time of tapping the n-th point can be calculated based on Expression (7) when such a deviation is used as an error model of the Gaussian distribution N. Note that “σ tap ” in Expression (7) indicates the variance of the Gaussian distribution N.
そして、タップされた２点間の距離ｌｔａｐおよび方位θｔａｐは、式（８）に基づき算出することができる。 Then, the distance l tap and the azimuth θ tap between the tapped two points can be calculated based on Expression (8).
一方、１点目をタップしてから２点目をタップするまでの間に、ｋ´回のステップイベントが検出された場合、情報端末１がグローバル座標系におけるｘ軸方向およびｙ軸方向に移動した距離は、式（９）に基づき算出することができる。なお、式（９）における「ｌｓ」は、ｓ回目のステップにおける歩幅を示す。また、「ｈｓ」は、ｓ回目のステップにおける進行方向を示す。これらの値は、スマートＰＤＲ処理によって得られるＤＲ情報に基づいて取得することができる。
On the other hand, if k ′ number of step events are detected between the tap of the first point and the tap of the second point, the
また、１点目をタップしてから２点目をタップするまでの間に、実際に情報端末１が移動した距離ｌｍｏｖｅおよび方位θｍｏｖｅは、式（９）を用いて式（１０）に基づき算出することができる。なお、この距離ｌｍｏｖｅおよび方位θｍｏｖｅは、ＤＲ処理部３１におけるスマートＰＤＲ処理によって算出される。
Further, the distance l move and the azimuth θ move that the
従って、式（６）に示すｉ番目の粒子における初期状態ｓｋは、式（７）〜式（１０）に基づき、式（１１）のように算出することができる。これにより、初期位置での縮尺および方位に関する情報を取得することができる。
なお、式（１１）において、ｉ番目の粒子における初期状態の座標ｘ０ （ｉ）およびｙ０ （ｉ）は、２点目にタップされた際の画像座標系での座標（ｘｔａｐ，２ ＩＣＳ（ｉ），ｙｔａｐ，２ ＩＣＳ（ｉ））に基づき算出される。この座標（ｘｔａｐ，２ ＩＣＳ（ｉ），ｙｔａｐ，２ ＩＣＳ（ｉ））は、２点目をタップした際の画像座標系での座標（ｘｔａｐ，２ ＩＣＳ´，ｙｔａｐ，２ ＩＣＳ´）の値に、式（７）を用いてノイズを付加することによって算出することができる。また、距離ｌｔａｐ （ｉ）および方位θｔａｐ （ｉ）は、式（７）によってノイズが付加された画像座標系でのタップ地点の座標（ｘｔａｐ，１ ＩＣＳ（ｉ），ｙｔａｐ，１ ＩＣＳ（ｉ））および（ｘｔａｐ，２ ＩＣＳ（ｉ），ｙｔａｐ，２ ＩＣＳ（ｉ））に基づき、式（８）を用いて算出することができる。
Thus, the initial state s k at the i-th particle shown in equation (6), based formula (7) to Formula (10) can be calculated by the equation (11). This makes it possible to obtain information on the scale and the azimuth at the initial position.
In equation (11), the coordinates x 0 (i) and y 0 (i ) of the i-th particle in the initial state are coordinates (x tap, 2 ) in the image coordinate system when the second point is tapped. ICS (i) , y tap, 2 ICS (i) ). The coordinates (x tap, 2 ICS (i) , y tap, 2 ICS (i) ) are the coordinates (x tap, 2 ICS ′, y tap, 2 ICS ) in the image coordinate system when the second point is tapped. The value can be calculated by adding noise to the value of ') using equation (7). The distance l tap (i) and the azimuth θ tap (i) are the coordinates (x tap, 1 ICS (i) , y tap, 1 ) of the tap point in the image coordinate system to which noise is added according to equation (7). ICS (i) ) and (x tap, 2 ICS (i) , y tap, 2 ICS (i) ), and can be calculated using equation (8).
粒子初期化処理では、このようにして得られる算出結果に基づき、初期状態の粒子を配置する。そして、粒子初期化処理では、式（１１）による計算を複数回行うことによって複数の粒子の状態を算出し、算出結果に応じた位置に複数の粒子を配置する。このときの複数の粒子は、２点目にタップされた位置の周囲に配置されることになる。 In the particle initialization processing, particles in an initial state are arranged based on the calculation results obtained in this manner. Then, in the particle initialization processing, the state of a plurality of particles is calculated by performing the calculation according to Expression (11) a plurality of times, and the plurality of particles are arranged at positions corresponding to the calculation results. The plurality of particles at this time are arranged around the position tapped at the second point.
（予測計算処理）
予測計算処理は、情報端末１が移動した場合に、初期値として配置されている複数の粒子の移動先を推定する処理である。この処理は、例えばユーザが１歩歩く毎に行われる。
具体的には、予測計算部３３は、スマートＰＤＲ処理によってステップイベントが検出されると、このスマートＰＤＲ処理によって得られるＤＲ情報に基づき、ステップイベント後におけるそれぞれの粒子の状態を算出して推定する。そして、予測計算部３３は、推定結果に応じた位置にそれぞれの粒子を配置する。
(Forecast calculation processing)
The prediction calculation process is a process of estimating a destination of a plurality of particles arranged as an initial value when the
Specifically, when a step event is detected by the smart PDR process, the
例えば、ｋ回目のステップイベント後におけるｉ番目の粒子の状態は、式（１２）で表すことができる。 For example, the state of the i-th particle after the k-th step event can be represented by Expression (12).
また、式（１２）にける各値は、式（１３）に基づき算出することができる。なお、式（１３）において、縮尺ｍｐｐｋ （ｉ）および方位θｋ （ｉ）には、ガウス分布Ｎをノイズとしてそれぞれの値に加算している。これにより、複数の粒子のそれぞれが、次に移動する際に、互いに異なる距離および方向に移動することになる。 Further, each value in the equation (12) can be calculated based on the equation (13). In equation (13), the Gaussian distribution N is added to each value as noise for the scale mpp k (i) and the azimuth θ k (i) . Accordingly, the next time each of the plurality of particles moves, they move at different distances and directions.
このようにして、予測計算処理では、すべての粒子に対する状態を算出し、算出結果に応じた位置に複数の粒子を移動させる。 In this way, in the prediction calculation processing, the state for all particles is calculated, and a plurality of particles are moved to positions according to the calculation results.
（尤度計算処理）
尤度計算処理は、予測計算処理の結果に応じて移動した粒子に対して尤度を設定するための処理である。
例えば、ユーザが施設内を移動する場合には、通常、通路を移動するので、ユーザが携帯している情報端末１も通路領域内を移動することになる。そのため、予測計算処理による推定結果に基づいて移動した複数の粒子のうち、屋内地図データ中の通路領域以外の非通路領域に移動したり、壁などの領域を通過したりする粒子は、推定結果として適切ではない。
そこで、この尤度計算処理では、画像解析部２０によって得られた画像情報に含まれる通路情報に基づき、予測計算処理の推定結果に応じて移動した複数の粒子のうち、適切でない移動を行う粒子を除外する処理を行う。
(Likelihood calculation processing)
The likelihood calculation process is a process for setting a likelihood for a particle that has moved according to the result of the prediction calculation process.
For example, when a user moves in a facility, the user usually moves in a passage, so that the
Therefore, in the likelihood calculation process, based on the path information included in the image information obtained by the
粒子に対して尤度を設定する場合には、例えば、それぞれの粒子に対して重み付けを行う。情報端末１が通路領域から外れないと仮定した場合に、複数の粒子のうちｉ番目の粒子に対する重みｗ（ｉ）は、式（１４）で算出することができる。このような重み付けは、例えば、配置されている複数の粒子のそれぞれの座標情報と、通路領域の座標情報とを比較し、粒子が通路領域内に位置するか否かを判断することによって行われる。なお、式（１４）における値「Ｍ」は、この処理によって除外されなかった粒子の数を示す。
When setting the likelihood for particles, for example, weighting is performed for each particle. Assuming that the
このように、通路領域外に配置された粒子に対して値が「０」となる重みｗ（ｉ）を付加することにより、適切でない動作をした粒子を、位置推定処理から除外することができる。 As described above, by adding the weight w (i) having a value of “0” to particles arranged outside the passage area, particles that have performed inappropriate operations can be excluded from the position estimation processing. .
なお、この例では、除外されなかった複数の粒子に対して付加される重みｗ（ｉ）の値を一様としているが、これに限らず、例えば粒子毎に異なる値の重みｗ（ｉ）を付加してもよい。具体的には、例えば、動きが実際の情報端末１の動きにより近い粒子に対して、他の粒子よりも値の大きい重みｗ（ｉ）を付加する。これにより、位置推定の精度をより向上させることができる。
In this example, the value of the weight w (i) added to a plurality of particles that have not been excluded is made uniform. However, the present invention is not limited to this. For example, the weight w (i) of a different value for each particle May be added. Specifically, for example, a weight w (i) having a larger value than other particles is added to particles whose movement is closer to the actual movement of the
（リサンプリング処理）
リサンプリング処理は、尤度計算処理によって除外されなかった粒子に基づき、初期値として配置された複数の粒子と同数の粒子を再配置する処理である。
このリサンプリング処理では、まず、残った複数の粒子から１つの粒子だけを選択し、選択した粒子を複製する。そして、複製された粒子を、この粒子が有する状態に含まれる座標情報が示す屋内地図データ上での位置に再配置する。このとき、粒子の選択は、尤度分布に基づき行われ、例えば、それぞれに付加された重みｗ（ｉ）の値が大きい粒子ほど、選択される可能性が高くなる。ただし、この例では、残った粒子に対する重みの値が一様であるため、選択される粒子はランダムとなる。
(Resampling process)
The resampling process is a process of rearranging the same number of particles as a plurality of particles arranged as initial values, based on particles not excluded by the likelihood calculation process.
In this resampling process, first, only one particle is selected from the plurality of remaining particles, and the selected particle is duplicated. Then, the copied particles are rearranged at the position on the indoor map data indicated by the coordinate information included in the state of the particles. At this time, the selection of the particle is performed based on the likelihood distribution. For example, a particle having a larger value of the weight w (i) added to each particle is more likely to be selected. However, in this example, since the weight values for the remaining particles are uniform, the selected particles are random.
次に、リサンプリング処理では、上述したような１つの粒子だけを選択するとともに、選択された粒子を複製して再配置する処理を、再配置された粒子の数が粒子初期化処理によって配置された粒子の数と同数となるまで繰り返す。これにより、残った粒子を利用して、最初に配置された粒子数と同数の粒子を得ることができる。そして、予め設定された数の粒子が再配置されると、複製に利用した、尤度計算処理によって残った粒子を破棄する。 Next, in the resampling process, the process of selecting only one particle as described above and duplicating and rearranging the selected particle is performed, and the number of rearranged particles is allocated by the particle initialization process. Repeat until the number is equal to the number of particles. This makes it possible to obtain the same number of particles as the number of initially arranged particles by using the remaining particles. When a predetermined number of particles are rearranged, the particles used for the duplication and remaining by the likelihood calculation processing are discarded.
このようにして得られた複数の粒子は、予測計算部３３に対して出力され、次のステップイベントが発生した際の予測計算処理における粒子の初期値として用いられる。
The plurality of particles thus obtained are output to the
（位置計算処理）
位置計算処理は、情報端末１の推定現在位置を決定するための処理である。
この位置計算処理は、尤度計算処理によって残った複数の粒子の位置および方位を含む状態を示す情報に基づき、例えば配置されているそれぞれの粒子の平均または重心の位置および方位を推定現在位置として決定する。
(Position calculation processing)
The position calculation process is a process for determining the estimated current position of the
This position calculation process is based on information indicating a state including the position and orientation of a plurality of particles left by the likelihood calculation process, and for example, the average or the position of the center of gravity of each of the arranged particles and the orientation and orientation as the estimated current position. decide.
［位置推定処理による動作］
図１０は、実施の形態１に係る位置推定処理について説明するための概略図である。
まず、図１０（ａ）に示すように、予測計算部３３の予測計算処理により、実際の現在位置に対する現在位置の範囲Ｒが推定されているものとする。この場合には、図１０（ｂ）に示すように、範囲Ｒ内に複数の粒子ｓが配置されている。
[Operation by position estimation processing]
FIG. 10 is a schematic diagram for describing the position estimation processing according to
First, as shown in FIG. 10A, it is assumed that the prediction calculation process of the
次に、図１０（ｃ）に示すように、情報端末１を携帯しているユーザが移動する。このとき、スマートＰＤＲ処理によってステップイベントが検出される毎に、予測計算部３３の予測計算処理により、配置されているそれぞれの粒子ｓの移動距離および方位が推定される。そして、図１０（ｄ）に示すように、それぞれの粒子ｓが推定結果に基づいて移動する。
次に、尤度計算部３４における尤度計算処理により、それぞれの粒子ｓに対して尤度を設定し、図１０（ｅ）に示すように、適切でない動きによって移動した粒子ｓを除外する。この例では、通路間の壁に相当する領域を通過した粒子ｓが、適切でない動きを行ったと判断され、除外される。
Next, as shown in FIG. 10C, the user carrying the
Next, the likelihood is set for each particle s by the likelihood calculation processing in the
最後に、リサンプリング部３５におけるリサンプリング処理により、図１０（ｆ）に示すように、残ったすべての粒子ｓを利用して、粒子初期化処理によって配置された粒子の数と同数の複数の粒子ｓを再配置する。
Finally, by the resampling process in the
以上のように、本実施の形態１に係る情報端末１は、環境情報を取得し、センサ情報として出力するセンサと、ユーザが通行する領域である通路領域および通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部４と、ユーザの操作に応じた操作信号を出力する操作部５と、地図データ上での自装置の位置を推定する位置推定部３０を有するとともに、推定された自装置の位置を示す表示を地図データに重畳させて表示部４に表示させる制御部１０とを備えている。また、位置推定部３０は、センサから出力されたセンサ情報に基づき、地図データ上での自装置の現在位置を推定するためのＤＲ情報を出力し、ＤＲ情報、および操作部５を介して入力された地図データ上での位置を示す情報に基づき、地図データの縮尺に関する情報および方位に関する情報を取得し、ＤＲ情報、縮尺に関する情報および方位に関する情報に基づき、自装置が移動する位置を推定する。
As described above, the
このように、本実施の形態１では、各種センサからのセンサ情報に基づき得られるＤＲ情報を用いて、地図データの縮尺および方位に関する情報を取得し、取得した縮尺および方位に関する情報に基づき、情報端末１の位置を推定する。そのため、縮尺および方位が不明な屋内地図データを用いて情報端末１の位置を推定する場合であっても、地図データの縮尺および方位に関する情報を取得することができ、情報端末１の位置を正確に推定することができる。
As described above, in the first embodiment, the information on the scale and the direction of the map data is obtained using the DR information obtained based on the sensor information from the various sensors, and the information is obtained based on the information on the obtained scale and the direction. The position of the
また、位置推定部３０は、ＤＲ情報に基づき、操作部５を介して入力された地図データ上での位置の周囲に、座標に関する情報、縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化部３２と、ＤＲ情報に基づき、配置された複数の粒子が自装置の移動に応じて移動する位置を推定して移動させる予測計算部３３と、移動した複数の粒子のうち、非通路領域に移動した粒子を除外する尤度計算部３４と、尤度計算部３４の処理によって残った複数の粒子に基づき、現在位置を推定する位置計算部３６と、尤度計算部３４の処理によって残った複数の粒子に基づき、初期値の複数の粒子と同数の粒子を、粒子の状態に含まれる座標に関する情報が示す位置に再配置するリサンプリング部３５とを有し、予測計算部３３は、リサンプリング部３５によって再配置された複数の粒子を次回の処理の初期値として用いている。
Further, the
このように、本実施の形態１では、ＤＲ処理部３１からのＤＲ情報に基づき、縮尺および方位に関する情報を含む状態を有する複数の粒子を初期値として配置し、この複数の粒子に基づき、情報端末１の移動に応じて複数の粒子を移動させる。そのため、縮尺および方位が不明な屋内地図データを用いて情報端末１の位置を推定する場合であっても、情報端末１の位置を正確に推定することができる。
As described above, in the first embodiment, based on the DR information from the
さらに、本実施の形態１に係る情報端末１は、地図データとしての画像データを取得する画像データ取得部としての撮像部２と、画像データから通路領域を推定する画像解析部２０とを備えている。また、画像解析部２０は、画像データから、画像データ中のエッジを検出するエッジ検出処理部２１と、画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部２２と、エッジおよび領域分割画像データに基づき、領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された複数の領域を形成する画素に対して同一のラベルを付与し、同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部２３と、ラベリング画像データに含まれる複数のラベリング領域からユーザが通行する領域である通路領域を推定し、通路領域を示す情報を含む画像情報を生成する通路領域推定部２４とを有している。
Further, the
このように、本実施の形態１では、施設の案内板等を撮像して得られる画像データを地図データとして取得し、取得した画像データからエッジを検出するとともに、画像データ中の領域を分割した領域分割画像データを生成する。そして、エッジおよび領域分割画像データに基づきラベリング画像データを生成し、付与されたラベルが異なる領域同士の面積等の状態を比較し、通路領域を推定する。そのため、正確な地図データがない場合であっても、通路領域を容易に推定することができる。 As described above, in the first embodiment, image data obtained by imaging a guide board or the like of a facility is acquired as map data, edges are detected from the acquired image data, and a region in the image data is divided. Generate region-divided image data. Then, labeling image data is generated based on the edge and region division image data, and the states such as the areas of the regions having different assigned labels are compared to estimate the passage region. Therefore, even when there is no accurate map data, the passage area can be easily estimated.
以上、本実施の形態１について説明したが、本発明は、上述した実施の形態１に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
本実施の形態１では、施設に設けられた案内板等の屋内地図を撮像して得られる画像データを屋内地図データとして取得した場合を例にとって説明したが、実施例としてはこの例に限られない。例えば、通路領域を推定する際に使用する屋内地図データは、予め取得した地図データを用いてもよい。このような地図データは、縮尺および方位を示す情報を含まない屋内地図データであってもよく、また、画像データでなくてもよい。
Although the first embodiment has been described above, the present invention is not limited to the above-described first embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
In the first embodiment, a case has been described as an example where image data obtained by imaging an indoor map such as a guide board provided in a facility is acquired as indoor map data, but the embodiment is limited to this example. Absent. For example, as the indoor map data used when estimating the passage area, map data acquired in advance may be used. Such map data may be indoor map data that does not include information indicating a scale and an azimuth, and may not be image data.
また、本実施の形態１では、画像データ取得部として撮像部２を用いて地図データとしての画像データを取得するように説明したが、これに限らず、例えばインターネット等を介して地図データを取得してもよい。
In the first embodiment, the description has been given of acquiring image data as map data using the
さらに、本実施の形態１では、位置推定部３０で用いられるデッドレコニングとしてスマートＰＤＲを適用したが、これに限らず、他のＰＤＲを適用してもよい。また、本実施の形態１におけるＤＲ情報に相当する情報を得られる方法であれば、Ｗｉ−Ｆｉなどの他の方法を用いてもよい。
Further, in the first embodiment, the smart PDR is applied as dead reckoning used in the
さらにまた、本実施の形態１では、施設等の屋内における位置を推定する場合を例にとって説明したが、これに限らず、屋外、特にＧＰＳによる位置情報を受信できない場所などにおいても、適用可能である。 Furthermore, in the first embodiment, the case of estimating the indoor position of a facility or the like has been described as an example. However, the present invention is not limited to this, and the present invention can be applied to an outdoor position, particularly a place where GPS positional information cannot be received. is there.
また、本実施の形態１では、地図データ上に情報端末１の現在位置を推定して表示する場合について説明したが、例えば、このように推定した位置の情報を用いて、情報端末１と共に移動するユーザを、指定された目的地まで案内するようにしてもよい。例えば、このような案内機能は、ユーザによって指定された目的地に情報端末１を案内するための案内機能部を制御部１０に設けることによって実現可能である。
Also, in the first embodiment, the case where the current position of the
この場合、制御部１０の案内機能部は、推定された現在位置からユーザが操作部５を操作することによって入力された目的地までの経路を探索する。そして、制御部１０は、探索の結果得られた経路を地図データ上に重畳して表示部４に表示させる。情報端末１と共に移動するユーザは、表示部４に表示された経路に沿って移動することにより、入力した目的地まで容易に移動することができる。なお、ユーザが経路に沿って移動する際には、例えば音声による案内を行ってもよい。このような音声による案内は、情報端末１にスピーカ等の音声出力部を設けることによって実現可能である。
In this case, the guidance function unit of the
１ 情報端末、２ 撮像部、３ 画像信号処理部、４ 表示部、５ 操作部、６ 加速度センサ、７ 地磁気センサ、８ ジャイロセンサ、９ 記憶部、１０ 制御部、２０ 画像解析部、２１ エッジ検出処理部、２２ 領域分割処理部、２３ ラベリング処理部、２４ 通路領域推定部、３０ 位置推定部、３１ ＤＲ処理部、３２ 粒子初期化部、３３ 予測計算部、３４ 尤度計算部、３５ リサンプリング部、３６ 位置計算部。
Claims (14)
ユーザが通行する領域である通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部と、
ユーザの操作に応じた操作信号を出力する操作部と、
前記地図データ上での自装置の位置を推定する位置推定部を有するとともに、前記推定された自装置の位置を示す表示を前記地図データに重畳させて前記表示部に表示させる制御部と
を備え、
前記位置推定部は、
前記センサから出力された前記センサ情報に基づき、前記地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力するデッドレコニング処理部と、
前記デッドレコニング情報に基づき、前記操作部を介して入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化部と、
前記デッドレコニング情報に基づき、配置された前記複数の粒子が自装置の移動に応じて移動する位置を推定し、推定した前記位置に前記複数の粒子を移動させる予測計算部と、
移動した前記複数の粒子のうち、前記非通路領域に移動した粒子を除外する尤度計算部と、
前記尤度計算部の処理によって残った複数の粒子に基づき、自装置が移動した際の現在位置を推定する位置計算部と、
前記尤度計算部の処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリング部と
を有し、
前記予測計算部は、
前記リサンプリング部によって再配置された複数の粒子を、次回の処理の初期値として用いる
ことを特徴とする情報端末。 A sensor that acquires environmental information and outputs it as sensor information;
A display unit that displays map data having a plurality of areas including a passage area that is an area through which the user passes and a non-passage area different from the passage area;
An operation unit that outputs an operation signal according to a user operation;
A control unit that has a position estimating unit that estimates the position of the own device on the map data, and displays on the display unit a display that indicates the estimated position of the own device on the map data. ,
The position estimating unit,
Based on the sensor information output from the sensor, a dead reckoning processing unit that outputs dead reckoning information for estimating the current position of the own device on the map data,
Based on the dead reckoning information, around a position on the map data input via the operation unit, information on coordinates indicating a position on the map data, information on a scale of the map data, and an orientation. A particle initialization unit that arranges a plurality of particles having a state including at least information on the initial value,
Based on the dead reckoning information, estimates the position where the plurality of arranged particles move in accordance with the movement of the own device, a prediction calculation unit that moves the plurality of particles to the estimated position,
Of the plurality of particles that have moved, a likelihood calculation unit that excludes particles that have moved to the non-passage region,
Based on a plurality of particles left by the processing of the likelihood calculation unit, a position calculation unit that estimates the current position when the own device has moved,
Based on the plurality of particles left by the processing of the likelihood calculation unit, the same number of particles as the plurality of particles of the initial value, on the map data indicated by the information on the coordinates included in the state of the particles. Resampling unit to relocate
Has,
The prediction calculation unit,
An information terminal, wherein a plurality of particles rearranged by the resampling unit are used as initial values for the next processing .
前記センサ情報に基づき、自装置が移動したことを示すステップイベントを検出し、
前記ステップイベントが検出される毎に、前記ステップイベントの回数、前記ステップイベント毎の移動距離、および自装置の進行方向を前記デッドレコニング情報として出力し、
前記粒子初期化部は、
前記デッドレコニング情報と、前記操作部を介して入力された前記地図データ上での２点の座標情報とに基づき、初期値の前記複数の粒子のそれぞれにおける前記地図データ上での座標、縮尺および方位を算出し、
前記予測計算部は、
前記デッドレコニング情報と、配置されている前記複数の粒子の状態を示す情報とに基づき、前記複数の粒子を前記ステップイベント検出後に移動させる際の前記複数の粒子の座標、縮尺および方位を算出する
ことを特徴とする請求項１に記載の情報端末。 The dead reckoning processing unit,
Based on the sensor information, detects a step event indicating that the own device has moved,
Each time the step event is detected, the number of step events, the travel distance for each step event, and the traveling direction of the own device is output as the dead reckoning information,
The particle initialization unit,
Based on the dead reckoning information and the coordinate information of the two points on the map data input via the operation unit, coordinates on the map data of each of the plurality of particles of initial values, scale, and Calculate the bearing,
The prediction calculation unit,
Based on the dead reckoning information and the information indicating the state of the plurality of arranged particles, calculate the coordinates, scale, and orientation of the plurality of particles when moving the plurality of particles after the detection of the step event. The information terminal according to claim 1 , wherein:
前記通路領域の座標情報と、移動した前記複数の粒子の座標情報とに基づき、前記粒子が前記非通路領域に位置する場合に、前記粒子を除外する
ことを特徴とする請求項１または２に記載の情報端末。 The likelihood calculation unit includes:
And coordinate information of the channel area, based on the coordinate information of the moved plurality of particles, if the particles are positioned in the non-passage area, to claim 1 or 2, characterized in that to exclude the particles Information terminal described.
前記尤度計算部の処理によって残った複数の粒子から１つの粒子をランダムに選択するとともに、選択された粒子を複製して再配置する処理を、再配置された粒子の数が前記初期値の複数の粒子と同数となるまで行い、
前記残った複数の粒子を破棄する
ことを特徴とする請求項１〜３のいずれか一項に記載の情報端末。 The resampling unit,
While randomly selecting one particle from the plurality of particles remaining by the processing of the likelihood calculation unit, the process of copying and rearranging the selected particle is performed, and the number of rearranged particles is equal to the initial value. Repeat until the same number of particles
The information terminal according to any one of claims 1 to 3 , wherein the plurality of remaining particles are discarded.
をさらに備え、
前記制御部は、
前記画像データから通路領域を推定する画像解析部
をさらに有し、
前記画像解析部は、
前記画像データから、該画像データ中のエッジを検出するエッジ検出処理部と、
前記画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部と、
前記エッジおよび前記領域分割画像データに基づき、該領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された前記複数の領域を形成する画素に対して、画素値に応じて共通の領域を形成する画素であることを示す同一のラベルを付与し、前記同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部と、
前記ラベリング画像データに含まれる前記複数のラベリング領域から前記通路領域を推定し、該通路領域を示す情報を含む画像情報を生成する通路領域推定部と
を有する
ことを特徴とする請求項１〜４のいずれか一項に記載の情報端末。 An image data acquisition unit that acquires image data as the map data is further provided,
The control unit includes:
Further comprising an image analysis unit for estimating a passage area from the image data,
The image analysis unit,
From the image data, an edge detection processing unit that detects an edge in the image data,
An area division processing unit that divides an image in the image data into a plurality of areas, and generates area division image data in which pixel values of pixels forming each area are converted to a common pixel value;
Based on the edge and the region-divided image data, among the respective regions in the region-divided image data, a plurality of regions that should be the same region are integrated, and a pixel forming the integrated plurality of regions is formed. The same label indicating that a pixel forms a common area according to the pixel value is assigned, and the labeling image data having a plurality of labeling areas formed by a plurality of pixels to which the same label is assigned is given. A labeling processing unit to generate;
Wherein estimating the channel region from the plurality of labeling regions included in the labeled image data, according to claim 1-4, characterized in that it comprises a passage area estimation unit that generates image information including information indicating the passage area An information terminal according to any one of the preceding claims.
前記ラベリング画像データに含まれる前記複数のラベリング領域のうち、面積が最大となる第１の領域と、面積が前記第１の領域に次いで大きい第２の領域とを抽出し、
抽出された前記第１の領域および前記第２の領域における面積と、画素値の平均値と、前記第１の領域および前記第２の領域のそれぞれを囲み、すべての辺において前記第１の領域または前記第２の領域の一部と接する外接矩形の面積とのうち少なくとも１つを比較した結果に基づき、前記第１の領域および前記第２の領域の少なくとも一方のラベリング領域を前記通路領域として推定する
ことを特徴とする請求項５に記載の情報端末。 The passage area estimation unit,
Among the plurality of labeling regions included in the labeling image data, a first region having the largest area and a second region having the second largest area after the first region are extracted,
The extracted area in the first region and the second region, the average value of pixel values, the first region and the second region surrounding each of the first region and the second region, and the first region in all sides. Alternatively, based on a result of comparing at least one of the area of a circumscribed rectangle in contact with a part of the second region, at least one of the first region and the second region is labeled as the passage region. The information terminal according to claim 5 , wherein the information terminal is estimated.
前記第１の領域の面積を示す値が前記第２の領域の面積を示す値に予め設定された係数を乗算した値よりも大きい場合に、前記第１の領域を前記通路領域として推定する
ことを特徴とする請求項６に記載の情報端末。 The passage area estimation unit,
When the value indicating the area of the first region is larger than a value obtained by multiplying a value indicating the area of the second region by a preset coefficient, the first region is estimated as the passage region. The information terminal according to claim 6 , wherein:
前記第１の領域の面積を示す値が前記第２の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第１の領域の画素値の平均値と、前記第２の領域の画素値の平均値との差分値が予め設定された値よりも小さい場合に、前記第１の領域および前記第２の領域を前記通路領域として推定する
ことを特徴とする請求項６または７に記載の情報端末。 The passage area estimation unit,
A value indicating the area of the first region is equal to or less than a value obtained by multiplying a value indicating the area of the second region by a preset coefficient;
When the difference between the average value of the pixel values of the first area and the average value of the pixel values of the second area is smaller than a preset value, the first area and the second area information terminal according to claim 6 or 7, characterized in that for estimating the region as the channel region.
前記第１の領域の面積を示す値が前記第２の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第１の領域の画素値の平均値と、前記第２の領域の画素値の平均値との差分値が予め設定された値以上であり、
前記第１の領域を囲む外接矩形の面積を示す値が前記第２の領域を囲む外接矩形の面積を示す値よりも大きい場合に、前記第１の領域を前記通路領域として推定する
ことを特徴とする請求項６〜８のいずれか一項に記載の情報端末。 The passage area estimation unit,
A value indicating the area of the first region is equal to or less than a value obtained by multiplying a value indicating the area of the second region by a preset coefficient;
A difference value between the average value of the pixel values of the first area and the average value of the pixel values of the second area is equal to or greater than a preset value;
When the value indicating the area of the circumscribed rectangle surrounding the first area is larger than the value indicating the area of the circumscribed rectangle surrounding the second area, the first area is estimated as the passage area. The information terminal according to any one of claims 6 to 8 , wherein
前記第１の領域の面積を示す値が前記第２の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第１の領域の画素値の平均値と、前記第２の領域の画素値の平均値との差分値が予め設定された値以上であり、
前記第１の領域を囲む外接矩形の面積を示す値が前記第２の領域を囲む外接矩形の面積を示す値以下である場合に、前記第２の領域を前記通路領域として推定する
ことを特徴とする請求項６〜８のいずれか一項に記載の情報端末。 The passage area estimation unit,
A value indicating the area of the first region is equal to or less than a value obtained by multiplying a value indicating the area of the second region by a preset coefficient;
A difference value between the average value of the pixel values of the first area and the average value of the pixel values of the second area is equal to or greater than a preset value;
When the value indicating the area of the circumscribed rectangle surrounding the first area is equal to or less than the value indicating the area of the circumscribed rectangle surrounding the second area, the second area is estimated as the passage area. The information terminal according to any one of claims 6 to 8 , wherein
地図を撮像して得られる撮像信号に基づき、前記画像データを取得する撮像部である
ことを特徴とする請求項５〜１０のいずれか一項に記載の情報端末。 The image data acquisition unit,
The information terminal according to any one of claims 5 to 10 , wherein the information terminal is an imaging unit that acquires the image data based on an imaging signal obtained by imaging a map.
前記操作部を介して前記地図データ上での目的地が入力された場合に、現在地から入力された前記目的地までの経路を前記地図データ上に表示させ、自装置を前記目的地まで案内する案内機能を有する
ことを特徴とする請求項１〜１１のいずれか一項に記載の情報端末。 The control unit includes:
When a destination on the map data is input via the operation unit, a route from the current location to the input destination is displayed on the map data, and the own device is guided to the destination. The information terminal according to any one of claims 1 to 11 , having a guidance function.
前記デッドレコニング情報に基づき、ユーザの操作に応じて入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化ステップと、
配置した前記複数の粒子が自装置の移動に応じて移動する位置を前記デッドレコニング情報に基づき推定し、推定した前記位置に前記複数の粒子を移動させる予測計算ステップと、
移動した前記複数の粒子のうち、前記地図データに含まれる前記非通路領域に移動した粒子を除外する尤度計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、自装置が移動した際の現在位置を推定する位置計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリングステップと
を有し、
前記予測計算ステップは、
前記リサンプリングステップの処理によって再配置された複数の粒子を、次回の処理の初期値として用いる
ことを特徴とする位置推定方法。 Based on sensor information from a sensor that acquires environmental information, to estimate a current position of the own device on map data including a plurality of areas including a passage area through which a user passes and a non-passage area different from the passage area Dead reckoning processing step of outputting dead reckoning information of
Based on the dead reckoning information, around a position on the map data input in response to a user operation, information on coordinates indicating a position on the map data, information on a scale of the map data, and an orientation. Particle initialization step of arranging a plurality of particles having a state including at least information on the initial value,
A prediction calculation step of estimating a position at which the arranged plurality of particles move in accordance with the movement of the own device based on the dead reckoning information, and moving the plurality of particles to the estimated position,
Among the plurality of particles that have moved, a likelihood calculation step of excluding particles that have moved to the non-passage area included in the map data,
Based on a plurality of particles left by the processing of the likelihood calculation step, a position calculation step of estimating the current position when the own device has moved ,
Based on the plurality of particles left by the processing of the likelihood calculation step, the same number of particles as the plurality of particles of the initial value, on the map data indicated by the information on the coordinates included in the state of the particles. A resampling step of relocating to a position,
The prediction calculation step includes:
A position estimating method, wherein a plurality of particles rearranged by the processing of the resampling step are used as initial values of the next processing.
環境情報を取得するセンサからのセンサ情報に基づき、ユーザが通行する通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力するデッドレコニング処理ステップと、
前記デッドレコニング情報に基づき、ユーザの操作に応じて入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化ステップと、
配置した前記複数の粒子が自装置の移動に応じて移動する位置を前記デッドレコニング情報に基づき推定し、推定した前記位置に前記複数の粒子を移動させる予測計算ステップと、
移動した前記複数の粒子のうち、前記地図データに含まれる前記非通路領域に移動した粒子を除外する尤度計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、自装置が移動した際の現在位置を推定する位置計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリングステップと
前記リサンプリングステップの処理によって再配置された複数の粒子を、前記予測計算ステップにおける次回の処理の初期値として用いるステップと
を実行させることを特徴とする位置推定プログラム。 On the computer,
Based on sensor information from a sensor that acquires environmental information, to estimate a current position of the own device on map data including a plurality of areas including a passage area through which a user passes and a non-passage area different from the passage area Dead reckoning processing step of outputting dead reckoning information of
Based on the dead reckoning information, around a position on the map data input in response to a user operation, information on coordinates indicating a position on the map data, information on a scale of the map data, and an orientation. Particle initialization step of arranging a plurality of particles having a state including at least information on the initial value,
A prediction calculation step of estimating a position at which the arranged plurality of particles move in accordance with the movement of the own device based on the dead reckoning information, and moving the plurality of particles to the estimated position,
Among the plurality of particles that have moved, a likelihood calculation step of excluding particles that have moved to the non-passage area included in the map data,
Based on a plurality of particles left by the processing of the likelihood calculation step, a position calculation step of estimating the current position when the own device has moved ,
Based on the plurality of particles left by the processing of the likelihood calculation step, the same number of particles as the plurality of particles of the initial value, on the map data indicated by the information on the coordinates included in the state of the particles. Performing a resampling step of relocating to a position and a step of using the plurality of particles relocated by the processing of the resampling step as an initial value of the next processing in the prediction calculation step. program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016056139A JP6653507B2 (en) | 2016-03-18 | 2016-03-18 | Information terminal, position estimation method, and position estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016056139A JP6653507B2 (en) | 2016-03-18 | 2016-03-18 | Information terminal, position estimation method, and position estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017173001A JP2017173001A (en) | 2017-09-28 |
| JP6653507B2 true JP6653507B2 (en) | 2020-02-26 |
Family
ID=59973831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016056139A Expired - Fee Related JP6653507B2 (en) | 2016-03-18 | 2016-03-18 | Information terminal, position estimation method, and position estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6653507B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815011B (en) * | 2019-04-10 | 2024-03-22 | 财付通支付科技有限公司 | Message sending method, device, computer equipment and storage medium |
| CN112747744B (en) * | 2020-12-22 | 2022-11-18 | 浙江大学 | Vehicle positioning method combining dead reckoning and multi-lane road network map |
| CN114222240A (en) * | 2021-10-29 | 2022-03-22 | 中国石油大学(华东) | Multi-source fusion positioning method based on particle filtering |
| CN114710745B (en) * | 2022-04-12 | 2023-04-18 | 电子科技大学 | Indoor positioning method with Bluetooth and PDR information deeply fused |
-
2016
- 2016-03-18 JP JP2016056139A patent/JP6653507B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017173001A (en) | 2017-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11710322B2 (en) | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program | |
| US11127203B2 (en) | Leveraging crowdsourced data for localization and mapping within an environment | |
| KR101645613B1 (en) | Pose estimation based on peripheral information | |
| KR101749017B1 (en) | Speed-up template matching using peripheral information | |
| US9641814B2 (en) | Crowd sourced vision and sensor-surveyed mapping | |
| US9304970B2 (en) | Extended fingerprint generation | |
| US8154616B2 (en) | Data processing apparatus and method, and recording medium | |
| KR102022668B1 (en) | Landmark positioning | |
| JP6653507B2 (en) | Information terminal, position estimation method, and position estimation program | |
| US20100127883A1 (en) | Positioning/Navigation System Using Identification Tag and Position/Navigation Method | |
| JP6321570B2 (en) | Indoor position information positioning system and indoor position information positioning method | |
| JP2015055534A (en) | Information processing apparatus, control program thereof, and control method thereof | |
| TWI749532B (en) | Positioning method and positioning device, electronic equipment and computer readable storage medium | |
| CN107193820B (en) | Position information acquisition method, device and equipment | |
| US11700504B2 (en) | Method and system for calibration of an indoor space | |
| US9911190B1 (en) | Method and computer program for generating a database for use in locating mobile devices based on imaging | |
| US10157189B1 (en) | Method and computer program for providing location data to mobile devices | |
| Bacchewar et al. | Literature Survey: Indoor Navigation Using Augmented Reality | |
| Tonosaki et al. | Indoor Localization by Map Matchin Using One Image of Information Board | |
| Bacchewar et al. | Indoor Navigation Using Augmented Reality | |
| JP2019213061A (en) | Information processing apparatus, method for controlling the same, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6653507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |