JP2017173001A - Information terminal, position estimation method, and position estimation program - Google Patents
Information terminal, position estimation method, and position estimation program Download PDFInfo
- Publication number
- JP2017173001A JP2017173001A JP2016056139A JP2016056139A JP2017173001A JP 2017173001 A JP2017173001 A JP 2017173001A JP 2016056139 A JP2016056139 A JP 2016056139A JP 2016056139 A JP2016056139 A JP 2016056139A JP 2017173001 A JP2017173001 A JP 2017173001A
- Authority
- JP
- Japan
- Prior art keywords
- information
- region
- particles
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、移動した際の自装置の位置を推定する情報端末、位置推定方法、および位置推定プログラムに関する。 The present invention relates to an information terminal, a position estimation method, and a position estimation program that estimate the position of the own apparatus when it has moved.
従来から、歩行者であるユーザを目的地まで案内する歩行者ナビゲーションシステムがスマートフォン等の情報端末に搭載され、広く利用されている。このような歩行者ナビゲーションシステムでは、ＧＰＳ（Global Positioning System）から受信するＧＰＳ信号に含まれている位置情報により、情報端末の位置を測位し、地図データ上に表示させる。 2. Description of the Related Art Conventionally, a pedestrian navigation system that guides a user who is a pedestrian to a destination is mounted on an information terminal such as a smartphone and widely used. In such a pedestrian navigation system, the position of the information terminal is measured based on the position information included in the GPS signal received from the GPS (Global Positioning System) and displayed on the map data.
しかしながら、歩行者ナビゲーションシステムは、ＧＰＳ信号を受信可能な場所においては、高精度に情報端末の位置を測位することができるが、例えば屋内などのＧＰＳ信号が受信できない場所では、情報端末の位置を正確に推定することができない。 However, the pedestrian navigation system can measure the position of the information terminal with high accuracy in a place where the GPS signal can be received, but the position of the information terminal can be determined in a place where the GPS signal cannot be received such as indoors. It cannot be estimated accurately.
そのため、最近では、様々な手法を用いて屋内での情報端末の位置を推定する方法が提案され、実用化されている。例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）（登録商標、以下省略）のアクセスポイント、ＢＬＥ（Bluetooth（登録商標） Low Energy）技術を用いたビーコン等の機器が屋内に設置されている場合には、これらを利用することにより、屋内であっても情報端末の位置を正確に推定することができる。 Therefore, recently, a method for estimating the position of an information terminal indoors using various methods has been proposed and put into practical use. For example, when devices such as Wi-Fi (Wireless Fidelity) (registered trademark, hereinafter omitted) access points and beacons using BLE (Bluetooth (registered trademark) Low Energy) technology are installed indoors, By using, the position of the information terminal can be accurately estimated even indoors.
しかしながら、Ｗｉ−Ｆｉアクセスポイント等の機器を屋内に設置して情報端末の位置推定に利用する場合には、事前にデータベースを構築しておく必要があることもあり、設置コストおよび管理コストがかかってしまう。また、Ｗｉ−Ｆｉアクセスポイント等の機器をすべての屋内に設置することは非常に困難であるため、利用できる場所が制限されてしまう。 However, when a device such as a Wi-Fi access point is installed indoors and used for position estimation of an information terminal, it may be necessary to construct a database in advance, which requires installation cost and management cost. End up. In addition, since it is very difficult to install devices such as Wi-Fi access points indoors, places where they can be used are limited.
そこで、このような特別な機器を設置することなく、情報端末に搭載されている各種センサ等を用いて自装置の位置を推定する方法が提案されている（例えば、非特許文献１および非特許文献２参照）。
In view of this, there has been proposed a method for estimating the position of the own apparatus using various sensors or the like mounted on the information terminal without installing such special equipment (for example, Non-Patent
しかしながら、従来の方法では、縮尺および方位を示す情報を含む正確な地図データを用いることを前提としている。そのため、縮尺および方位が不明な不正確な地図データを用いた場合には、情報端末の位置を正確に推定することができないという問題点があった。 However, the conventional method is based on the assumption that accurate map data including information indicating the scale and direction is used. Therefore, when inaccurate map data whose scale and direction are unknown is used, there is a problem that the position of the information terminal cannot be accurately estimated.
そこで、本発明の目的は、上記従来の技術における問題点に鑑みてなされたものであって、縮尺および方位に関する情報を含まない地図データを用いた場合であっても、自装置の位置を正確に推定することが可能な情報端末、位置推定方法、および位置推定プログラムを提供することにある。 Therefore, an object of the present invention is made in view of the problems in the conventional technology described above, and the position of the device itself is accurately determined even when map data that does not include information on the scale and orientation is used. It is an object of the present invention to provide an information terminal, a position estimation method, and a position estimation program.
本発明に係る情報端末は、環境情報を取得し、センサ情報として出力するセンサと、ユーザが通行する領域である通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部と、ユーザの操作に応じた操作信号を出力する操作部と、前記地図データ上での自装置の位置を推定する位置推定部を有するとともに、前記推定された自装置の位置を示す表示を前記地図データに重畳させて前記表示部に表示させる制御部とを備え、前記位置推定部は、前記センサから出力された前記センサ情報に基づき、前記地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力し、前記デッドレコニング情報、および前記操作部を介して入力された前記地図データ上での位置を示す情報に基づき、前記地図データの縮尺に関する情報および方位に関する情報を取得し、前記デッドレコニング情報、前記縮尺に関する情報および前記方位に関する情報に基づき、自装置が移動する位置を推定するものである。 The information terminal according to the present invention is a map data having a plurality of areas including a sensor that acquires environmental information and outputs it as sensor information, a passage area that is a user-passing area, and a non-passage area that is different from the passage area. A display unit that displays a signal, an operation unit that outputs an operation signal in accordance with a user operation, and a position estimation unit that estimates the position of the device on the map data, and the estimated position of the device And a control unit that superimposes the display indicating the map data on the map data and displays it on the display unit, the position estimation unit based on the sensor information output from the sensor, Output dead reckoning information for estimating the current position, and based on the dead reckoning information and information indicating the position on the map data input via the operation unit. Come, the acquired information about information and orientation about the scale of the map data, based on the dead reckoning information, the information about the information and the orientation about the scale, and estimates the position where the own device is moved.
また、本発明に係る情報端末は、地図データとしての画像データを取得する画像データ取得部と、前記画像データから通路領域を推定する画像解析部とを備え、前記画像解析部は、前記画像データから、該画像データ中のエッジを検出するエッジ検出処理部と、前記画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部と、前記エッジおよび前記領域分割画像データに基づき、該領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された前記複数の領域を形成する画素に対して、画素値に応じて共通の領域を形成する画素であることを示す同一のラベルを付与し、前記同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部と、前記ラベリング画像データに含まれる前記複数のラベリング領域からユーザが通行する領域である通路領域を推定し、該通路領域を示す情報を含む画像情報を生成する通路領域推定部とを有するものである。 The information terminal according to the present invention includes an image data acquisition unit that acquires image data as map data, and an image analysis unit that estimates a passage area from the image data, and the image analysis unit includes the image data An edge detection processing unit for detecting edges in the image data, and an area obtained by dividing an image in the image data into a plurality of areas and converting pixel values of pixels forming each area into a common pixel value Based on the edge and the region divided image data, a plurality of regions that should be the same region are integrated and integrated based on the edge and the region divided image data. In addition, the same label indicating that the pixels form a common area is given to the pixels forming the plurality of areas according to pixel values, and the same label is given. A labeling processing unit for generating labeling image data having a plurality of labeling regions formed of a plurality of pixels, and estimating a passage region which is a region through which a user passes from the plurality of labeling regions included in the labeling image data, A passage area estimation unit that generates image information including information indicating the passage area.
以上のように、本発明によれば、地図データの縮尺および方位に関する情報を取得し、取得した縮尺および方位の情報に基づき、自装置が移動する位置を推定するため、縮尺および方位に関する情報を含まない地図データを用いた場合であっても、自装置の位置を正確に推定することが可能になる。 As described above, according to the present invention, information on the scale and orientation of map data is acquired, and the information on the scale and orientation is obtained in order to estimate the position where the device moves based on the acquired information of scale and orientation. Even when map data not included is used, the position of the device itself can be accurately estimated.
実施の形態１．
以下、本発明の実施の形態１に係る情報端末について説明する。
本実施の形態１では、情報端末に設けられたカメラ等の撮像装置を用いて撮像して得られる画像データである地図データ、または予め取得した地図データを用い、この地図データ上における情報端末の現在位置を推定して情報端末に表示させる。
Hereinafter, the information terminal according to
In the first embodiment, map data that is image data obtained by imaging using an imaging device such as a camera provided in the information terminal, or map data acquired in advance is used, and the information terminal on the map data is displayed. The current position is estimated and displayed on the information terminal.
概略的には、情報端末は、この情報端末に一般的に搭載されている各種センサの検出結果に基づき、地図データ上での自装置の現在位置を推定するための情報であるデッドレコニング情報（詳細は後述する）を出力する。
そして、情報端末は、このデッドレコニング情報と、ユーザによって入力された地図データ上での位置を示す情報とに基づき、地図データの縮尺および方位に関する情報を取得し、これらの情報とデッドレコニング情報とに基づき、情報端末が移動する位置を推定する。
Schematically, an information terminal uses dead reckoning information (information for estimating the current position of its own device on map data based on detection results of various sensors generally mounted on the information terminal. The details will be described later).
Then, the information terminal acquires information on the scale and direction of the map data based on the dead reckoning information and the information indicating the position on the map data input by the user, and the information, the dead reckoning information, Based on the above, the position where the information terminal moves is estimated.
図１は、本実施の形態１について説明するための概略図である。
図１に示すように、本実施の形態１では、例えばユーザが携帯する情報端末の撮像装置によって施設に設置されている図１（ａ）に示すような案内図等を撮像する。この場合、情報端末には、図１（ｂ）に示すように、撮像によって得られた画像データである屋内地図データ上に、この情報端末の推定した現在位置（以下、「推定現在位置」と適宜称する）を重畳させて表示することができる。
なお、図１（ｂ）に示す例では、推定した現在位置の履歴を残した状態で表示されているが、これに限らず、例えば現時点での推定現在位置のみを表示させるようにしてもよい。
FIG. 1 is a schematic diagram for explaining the first embodiment.
As shown in FIG. 1, in the first embodiment, for example, a guide map as shown in FIG. 1A installed in a facility is imaged by an imaging device of an information terminal carried by a user. In this case, as shown in FIG. 1 (b), the information terminal displays the current position estimated by the information terminal (hereinafter referred to as “estimated current position”) on indoor map data that is image data obtained by imaging. Can be superimposed and displayed.
In the example shown in FIG. 1B, the history of the estimated current position is displayed, but not limited to this. For example, only the estimated current position at the current time may be displayed. .
また、本実施の形態１においては、主に、複数の店舗が収容された施設内の様子を示す画像データを屋内地図データとして扱う。この屋内地図データは、例えば、施設内に設置された案内板等の屋内地図を撮像したものであり、このような施設において、各店舗と店舗の間に設けられた通路とを含むデータとする。
Moreover, in this
［情報端末の構成］
図２は、本実施の形態１に係る情報端末１の構成の一例を示すブロック図である。
情報端末１は、例えば、携帯電話、スマートフォン、タブレット、ＰＤＡ（Personal Digital Assistant）等の、各種情報の表示、再生および記録が可能であり、ユーザが移動する際に、共に移動可能な端末である。
図２に示すように、情報端末１は、画像データ取得部としての撮像部２、画像信号処理部３、表示部４、操作部５、加速度センサ６、地磁気センサ７、ジャイロセンサ８、記憶部９および制御部１０を備えている。なお、図２に示す例では、本実施の形態１の特徴に関連する部分についてのみ図示し、それ以外の部分については、図示を省略する。
[Configuration of information terminal]
FIG. 2 is a block diagram showing an example of the configuration of the
The
As shown in FIG. 2, the
撮像部２は、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子に受光された光を撮像信号に変換し、サンプリングおよびノイズ除去等の処理を行うことによって撮像信号を出力する。
この例において、撮像部２は、被写体として施設内に設けられた屋内地図を撮像する。
The
In this example, the
画像信号処理部３は、撮像信号に対してＡＧＣ（Auto Gain Control）処理、ホワイトバランス処理、γ（ガンマ）補正、色調補正、シャープネス補正等の信号処理を行うとともに、この撮像信号を、例えば輝度信号と色差信号とからなる画像データに変換する。
The image
表示部４は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）等によって構成され、画像信号処理部３から供給された画像データを表示可能な形式に変換して表示する。表示部４としては、例えば、ＬＣＤまたは有機ＥＬ上にタッチセンサを有するタッチパネルが積層されたタッチパネルディスプレイを用いることができる。
The
操作部５は、この情報端末１を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた操作信号を出力する。操作部５には、例えば、電源のＯＮおよびＯＦＦを切り替える電源キー、撮影モードや再生モードといった情報端末１における動作モードを切り替えるモード切替キー等が設けられている。これらの各種キーは、例えば、情報端末１の筐体にハードウェアキーとして設けるようにしてもよいし、表示部４がタッチパネルディスプレイの場合には、各種キーがソフトウェアキーとして表示部４に表示されるようにしてもよい。
The
加速度センサ６、地磁気センサ７およびジャイロセンサ８は、情報端末１に入力される各種の環境情報を取得するためのセンサである。
加速度センサ６は、例えば、この情報端末１のローカル座標系（ＬＣＳ；Local Coordinate System）における表示部４での表示画面の法線方向を示すｚ軸方向と、当該表示画面の横方向を示すｘ軸方向と、当該表示画面の縦方向を示すｙ軸方向との３方向の加速度を検出し、センサ情報として出力する。
地磁気センサ７は、ローカル座標系におけるｘ軸方向、ｙ軸方向およびｚ軸方向の３方向の地磁気の強さを検出し、センサ情報として出力する。
ジャイロセンサ８は、ローカル座標系における角速度を検出し、センサ情報として出力する。
The
The
The geomagnetic sensor 7 detects the strength of geomagnetism in the three directions of the x-axis direction, the y-axis direction, and the z-axis direction in the local coordinate system, and outputs it as sensor information.
The
記憶部９は、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）等で構成され、後述する制御部１０の制御に基づき、撮像部２によって撮像された画像データ等を記憶する。なお、記憶部９としては、これに限らず、例えば外部に設けられたＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）メモリカード等のフラッシュメモリを用いることもできる。
The
制御部１０は、図示しないＲＡＭ（Random Access Memory）をワークメモリとして用い、図示しないＲＯＭ（Read Only Memory）に予め記憶されたプログラムに従い、この情報端末１の全体の動作を制御する。
The
また、制御部１０は、画像解析部２０および位置推定部３０を備えている。
画像解析部２０は、入力された画像データを構成する複数の画素のうち、画素の色を示す画素値が同等である画素によってブロックを形成する処理を行う。これにより、例えば屋内地図データを画像データとして用いた場合に、施設内の同一店舗および通路を示す領域がそれぞれ同一のブロックとして形成され、施設内の店舗および通路の位置関係を取得することができる。そして、本実施の形態１における画像解析部２０は、これらのブロック化された領域から、ユーザが通行する領域である通路領域を推定し、推定した通路領域を示す通路情報を含む画像情報を生成する。
なお、「画素値が同等である」とは、比較する複数の画素における画素値が予め設定された範囲内である場合のことをいう。
In addition, the
The
“Pixel values are equivalent” means a case where pixel values in a plurality of pixels to be compared are within a preset range.
位置推定部３０は、デッドレコニングおよび粒子フィルタを用いて、画像データ上での情報端末１の現在位置を推定する処理を行う。
デッドレコニングは、加速度センサ６、地磁気センサ７およびジャイロセンサ８などによって得られるセンサ情報に基づき、情報端末１の位置を推定する手法である。
粒子フィルタは、現在位置として推定された範囲内に、後述する算出方法を用いて得られる状態を有する、情報端末１の位置を推定するためのモデルとしての複数の粒子を配置し、配置されたそれぞれの粒子を情報端末１の移動に応じて移動させることによって、情報端末１の位置を推定する手法である。
The
Dead reckoning is a method of estimating the position of the
The particle filter is arranged by arranging a plurality of particles as a model for estimating the position of the
制御部１０は、位置推定部３０で推定された現在位置を示す表示を、画像信号処理部３から出力された画像データ上に重畳させ、得られた画像データを、画像信号処理部３を介して表示部４に表示させる。
The
制御部１０は、例えばマイクロコンピュータ、ＣＰＵ（Central Processing Unit）などの演算装置上で実行されるソフトウェア、上述した画像解析部２０および位置推定部３０における処理を実現する回路デバイスなどのハードウェア等で構成される。
The
（画像解析部）
図３は、図２の画像解析部２０の構成の一例を示すブロック図である。
図３に示すように、画像解析部２０は、エッジ検出処理部２１、領域分割処理部２２、ラベリング処理部２３および通路領域推定部２４を備えている。なお、各部における処理の詳細については、後述する。
(Image Analysis Department)
FIG. 3 is a block diagram illustrating an example of the configuration of the
As shown in FIG. 3, the
エッジ検出処理部２１は、入力された画像データに対してエッジ検出処理を行い、画像データを構成する複数の画素のうち隣接する画素との間で画素値が大きく変化している部分、すなわち変化点を示すエッジを検出する。そして、エッジ検出処理部２１は、検出されたエッジを画像化したエッジ画像データを生成して出力する。
The edge
領域分割処理部２２は、入力された画像データに対して領域分割処理を行い、画像データ中の複数の画素で一つの領域を形成し、同一領域を構成する画素の画素値を共通の画素値に変換する。これにより、領域分割処理部２２は、画像データを複数の領域に分割した領域分割画像データを生成して出力する。
The area
ラベリング処理部２３は、エッジ画像データおよび領域分割画像データに基づき、領域分割画像データ中の各領域のうち同一領域とすべき複数の領域を統合し、この領域内の画素に対して同一のラベルを付与するラベリング処理を行う。そして、ラベリング処理部２３は、同一のラベルが付与された複数の画素で形成される複数のラベリング領域を有するラベリング画像データを生成して出力する。
ここで、ラベルとは、１つのラベリング領域を形成する複数の画素が、互いに共通する領域であるラベリング領域を形成する画素であることを示す情報のことをいう。また、ラベリング画像データには、それぞれのラベリング領域に関するラベリング情報が含まれている。
The
Here, the label refers to information indicating that a plurality of pixels forming one labeling region are pixels forming a labeling region that is a common region. Further, the labeling image data includes labeling information related to each labeling area.
通路領域推定部２４は、ラベリング処理部２３から出力されたラベリング画像データに基づき、ラベリング画像データ中のラベリング領域の中から、通路領域を示すラベルを推定する通路領域推定処理を行う。そして、通路領域推定部２４は、通路領域を示す通路情報を含む画像情報を出力する。
The passage
（位置推定部）
図４は、図２の位置推定部３０の構成の一例を示すブロック図である。
図４に示すように、位置推定部３０は、デッドレコニングに対応するＤＲ（Dead Reckoning）処理部３１と、粒子フィルタに対応する粒子初期化部３２、予測計算部３３、尤度計算部３４、リサンプリング部３５および位置計算部３６とを備えている。なお、各部における処理の詳細については、後述する。
(Position estimation part)
FIG. 4 is a block diagram illustrating an example of the configuration of the
As shown in FIG. 4, the
ＤＲ処理部３１は、加速度センサ６、地磁気センサ７およびジャイロセンサ８などによって得られるセンサ情報に基づき、画像データ上での情報端末１の現在位置を推定するためのデッドレコニング情報（以下、「ＤＲ情報」と適宜称する）を取得するＤＲ処理を行う。このＤＲ処理部３１においてＤＲ処理を行う場合には、例えば、スマートＰＤＲ（Smartphone-Based Pedestrian Dead Reckoning）と称する手法を用いる。
The
スマートＰＤＲは、情報端末１として例えばスマートフォンを用いた場合に、このスマートフォンに一般的に搭載されている機能および演算装置を用いて情報端末１の位置を推定する手法である。具体的には、スマートＰＤＲ処理では、スマートフォンに一般的に搭載されている加速度センサ６、地磁気センサ７およびジャイロセンサ８などを用いる。そして、スマートＰＤＲ処理では、これらの各種センサによって得られるセンサ情報に基づき、情報端末１を携帯するユーザの歩数を示すステップイベント回数、ユーザの進行方向、１ステップあたりの移動距離であるユーザの歩幅を検出または推定する。すなわち、スマートＰＤＲ処理では、情報端末１を携帯するユーザがどの方向にどれだけ移動したのかを示すＤＲ情報を１歩毎に出力する。
なお、以下の説明では、「情報端末１（ユーザ）の移動」を「ステップイベント」と称し、例えば、「ユーザが１歩だけ歩いたことを検出する」ことを、「１ステップイベントを検出する」のように記載するものとする。
The smart PDR is a method for estimating the position of the
In the following description, “movement of the information terminal 1 (user)” is referred to as a “step event”. For example, “detecting that the user has walked only one step” is detected as “detecting a one-step event”. ".
粒子初期化部３２は、ＤＲ処理部３１から出力されるＤＲ情報に基づき、情報端末１の最初の位置を示す位置情報と、次に移動した際の位置を示す位置情報とを取得し、現在位置に対して配置すべき複数の粒子を初期化して配置する粒子初期化処理を行う。
Based on the DR information output from the
予測計算部３３は、ＤＲ処理部３１から出力されるＤＲ情報に基づき、１ステップイベントが検出される毎に、粒子初期化部３２または後述するリサンプリング部３５における処理によって配置されている複数の粒子が移動する位置を推定する予測計算処理を行う。そして、予測計算部３３は、予測計算処理による推定結果に応じて配置されている複数の粒子を移動させる。
The
尤度計算部３４は、画像解析部２０から出力された画像情報に含まれる通路情報に基づき、予測計算部３３による予測計算処理の結果に応じて移動した複数の粒子の尤度を算出する尤度計算処理を行い、尤度の低い粒子、すなわち複数の粒子のうち適切に移動しなかった粒子を除外する。
The
リサンプリング部３５は、尤度計算部３４での尤度計算処理によって残った複数の粒子の中から１つの粒子だけをランダムに選択し、選択した粒子を複製して再配置する処理を予め設定された回数だけ行うリサンプリング処理を行う。そして、リサンプリング部３５は、複製された複数の粒子を予測計算部３３に出力するとともに、リサンプリング処理で用いた、尤度計算処理によって残った複数の粒子を破棄する。
The
位置計算部３６は、尤度計算部３４での尤度計算処理によって残った複数の粒子の位置および方位を含む状態を示す情報に基づき、情報端末１の推定現在位置を決定する。
The
なお、上述では、図２〜図４に示す情報端末１の各部がそれぞれハードウェアで構成されるように説明したが、これはこの例に限定されない。すなわち、情報端末１における画像信号処理部３、制御部１０、画像解析部２０および位置推定部３０、ならびに、画像解析部２０および位置推定部３０が有する各部の全てまたは一部を、ＣＰＵ上でプログラムを実行させることで構成することも可能である。
プログラムは、情報端末１が有する図示しないＲＯＭに予め記憶させておいてもよいし、ＳＤメモリカードといった記録媒体に記録された状態で提供されてもよい。インターネットなどの通信ネットワークを介してプログラムを提供することもできる。提供されたプログラムは、情報端末１が有する図示されない記憶部９などに記憶され、ＣＰＵに読み込まれて実行される。
In the above description, each unit of the
The program may be stored in advance in a ROM (not shown) included in the
［情報端末における各種処理］
次に、画像解析部２０の各部で行われる処理について説明する。
ここでは、エッジ検出処理部２１におけるエッジ検出処理、領域分割処理部２２における領域分割処理、ラベリング処理部２３におけるラベリング処理、および通路領域推定部２４における通路領域推定処理について説明する。
[Various processing in information terminals]
Next, processing performed in each unit of the
Here, the edge detection processing in the edge
（エッジ検出処理）
エッジ検出処理を行う場合には、例えば、従来から知られているキャニー法を用いる。
キャニー法は、入力された画像データを平滑化した画像データに基づきＤｏＧ（Difference of Gaussian）画像データを生成し、このＤｏＧ画像に対して細線化処理を行う。そして、細線化処理が行われた画像データに対するヒステリシス閾値処理により、ＤｏＧ画像データ中に残ったエッジ部分候補のうち、まとめられるものを１つに連結することによってエッジ画像データを生成するという手法である。これにより、エッジ部分の画素値が例えば「２５５」であり、それ以外の部分の画素値が例えば「０」であるエッジ画像データ、すなわちエッジ部分のみが白画素で構成され、それ以外の部分が黒画素で構成されたエッジ画像データを生成することができる。
(Edge detection processing)
When performing edge detection processing, for example, a conventionally known canny method is used.
In the Canny method, DoG (Difference of Gaussian) image data is generated based on image data obtained by smoothing input image data, and thinning processing is performed on the DoG image. Then, by the hysteresis threshold processing for the image data that has been subjected to thinning processing, edge image data is generated by concatenating one of the edge portion candidates remaining in the DoG image data into a single one. is there. Thereby, edge image data whose pixel value of the edge part is “255” and the pixel value of the other part is “0”, for example, only the edge part is composed of white pixels, and the other parts are Edge image data composed of black pixels can be generated.
なお、エッジ検出処理の方法は、上述したキャニー法を用いる場合に限られない。例えば、入力画像データからエッジを抽出することができれば、これ以外の方法を用いてもよい。 Note that the edge detection processing method is not limited to the case where the above-described Canny method is used. For example, other methods may be used as long as an edge can be extracted from input image data.
図５は、図３のエッジ検出処理部２１で生成されるエッジ画像データについて説明するための概略図である。
エッジ検出処理部２１は、図５（ａ）に示す入力画像データに対してエッジ検出処理を行うことにより、図５（ｂ）に示すエッジ画像データを生成する。このエッジ画像データにおいて、エッジとして検出された画素は、例えば画素値が「２５５」の白画素となる。また、それ以外の画素は、例えば画素値が「０」の黒画素となる。
FIG. 5 is a schematic diagram for explaining edge image data generated by the edge
The edge
（領域分割処理）
領域分割処理を行う場合には、例えば、従来から知られている平均値シフト法（Mean Shift法）を用いるが、これに限らず、入力画像データから複数の分割領域を形成することができれば、平均値シフト法以外の方法を用いてもよい。
(Area division processing)
When performing region division processing, for example, a conventionally known average value shift method (Mean Shift method) is used, but not limited to this, if a plurality of divided regions can be formed from input image data, A method other than the average value shift method may be used.
図６は、図３の領域分割処理部２２で生成される領域分割画像データについて説明するための概略図である。
領域分割処理部２２は、図６（ａ）に示す入力画像データに対して領域分割処理を行うことにより、図６（ｂ）に示すような、領域毎に同一の画素値を有する画素からなる複数の分割領域が形成された領域分割画像データを生成する。
FIG. 6 is a schematic diagram for explaining the area division image data generated by the area
The area
（ラベリング処理）
図７は、図３のラベリング処理部２３で行われるラベリング処理について説明するための概略図である。
ラベリング処理は、エッジ画像データおよび領域分割画像データに基づき行われ、領域分割画像データ中の複数に分割されたそれぞれの領域において、同一の領域と判断された領域内の画素に対して同一のラベルを付与する。
(Labeling process)
FIG. 7 is a schematic diagram for explaining the labeling process performed by the
The labeling process is performed based on the edge image data and the area division image data, and in each area divided into a plurality of areas in the area division image data, the same label is applied to the pixels in the area determined to be the same area. Is granted.
具体的には、ラベリング処理では、まず、領域分割画像データに対して左上の画素からラスタスキャンし、ラベルが付与されていない画素（以下、「注目画素」と適宜称する）の探索を行う。
次に、注目画素を検出した場合には、領域分割処理によって得られる画素値等の画素に関する情報に基づき、この注目画素の上下左右に隣接する４つの画素（以下、「４近傍画素」と適宜称する）を調査する。そして、調査した４近傍画素中に、注目画素の画素値と同一または近い画素値を有する対象画素が存在した場合には、この対象画素に付与されたラベルと同一のラベルを注目画素に付与する。
Specifically, in the labeling process, first, the region-divided image data is raster-scanned from the upper left pixel, and a pixel to which no label is attached (hereinafter referred to as “target pixel” as appropriate) is searched.
Next, when a pixel of interest is detected, based on information about the pixel such as a pixel value obtained by the region division process, four pixels adjacent to the pixel of interest (hereinafter referred to as “four neighboring pixels”) are appropriately selected. Survey). If a target pixel having a pixel value that is the same as or close to the pixel value of the pixel of interest exists among the four neighboring pixels that have been investigated, the same label as the label assigned to the target pixel is assigned to the pixel of interest. .
ここで、注目画素および対象画素の画素値が近いか否かは、例えば、２つの画素におけるＲＧＢ色空間上での各成分Ｒ（Red）、Ｇ（Green）およびＢ（Blue）の画素値の差分と、予め設定された距離ｄとを、以下の式（１）に基づいて比較することによって判断する。なお、式（１）における「ｉ」および「ｋ」は、画像データ中の画素の横方向の座標を示す。また、「ｊ」および「ｌ」は、縦方向の座標を示す。すなわち、例えばＲ（ｉ，ｊ）は、座標（ｉ，ｊ）の画素におけるＲ成分の画素値を示す。 Here, whether or not the pixel values of the target pixel and the target pixel are close is determined by, for example, the pixel values of the components R (Red), G (Green), and B (Blue) in the RGB color space in the two pixels. The difference is determined by comparing the preset distance d based on the following equation (1). Note that “i” and “k” in Equation (1) indicate the horizontal coordinates of the pixels in the image data. “J” and “l” indicate vertical coordinates. That is, for example, R (i, j) indicates the pixel value of the R component in the pixel at coordinates (i, j).
２つの画素におけるＲ、ＧおよびＢの各成分の画素値の差分が式（１）を満足する場合には、注目画素および対象画素の色が同一または近いと判断し、対象画素に付与されたラベルと同一のラベルを注目画素に付与する。 When the difference between the pixel values of the R, G, and B components in the two pixels satisfies the expression (1), it is determined that the colors of the target pixel and the target pixel are the same or close, and are given to the target pixel The same label as the label is assigned to the target pixel.
なお、注目画素に対する４近傍画素を調査する際には、エッジ画像データを参照し、エッジ画像中のエッジを形成しているエッジ画素の座標に対応する座標上の画素を、調査の対象から除外する。すなわち、注目画素に対する４近傍画素中にエッジ画素が含まれる場合、このエッジ画素の画素値については考慮しないようにする。これは、エッジ画素によって形成されたエッジが分割された各領域の境界を示すためである。 When investigating the four neighboring pixels with respect to the target pixel, the edge image data is referred to, and the pixels on the coordinates corresponding to the coordinates of the edge pixels forming the edges in the edge image are excluded from the investigation target. To do. That is, when an edge pixel is included in four neighboring pixels with respect to the target pixel, the pixel value of the edge pixel is not considered. This is for showing the boundary of each area | region where the edge formed by the edge pixel was divided | segmented.
このようにして領域分割画像データ中のすべての画素に対してラベルを付与することにより、図７（ｃ）に示すように、分割されたラベリング領域毎に異なるラベルを付与することができる。
また、画素値が近い画素に対して同一のラベルを付与することにより、本来同一の領域とされるべきであるにもかかわらず分割されてしまっていた領域同士を、同一のラベリング領域とすることができる。
By assigning labels to all the pixels in the area-divided image data in this way, different labels can be assigned to the divided labeling areas as shown in FIG. 7C.
In addition, by assigning the same label to pixels with similar pixel values, areas that have been divided even though they should have been the same area should be the same labeling area. Can do.
（通路領域推定処理）
通路領域推定処理では、ラベリング処理によってラベルが付与されたそれぞれのラベリング領域のうち、どのラベリング領域が通路領域であるのかを推定する。
ここでは、通路領域推定処理について説明する前に、まず、施設内の通路がどのようなものであるのかについて説明する。
(Passage area estimation process)
In the passage area estimation process, it is estimated which labeling area is a passage area among the labeling areas to which labels are given by the labeling process.
Here, before explaining the passage area estimation processing, first, what kind of passage is in the facility will be described.
通常、複数の店舗が収容された施設においては、ユーザが店舗間を自由に行き来できるように通路が設けられている。そして、このような通路は、以下に示すような第１〜第３の特徴を有しているものと推定することができる。 Usually, in a facility in which a plurality of stores are accommodated, a passage is provided so that a user can freely move between stores. And such a channel | path can be estimated to have the 1st-3rd characteristics as shown below.
第１の特徴は、通路の「面積」である。
上述したように、通路は、ユーザが店舗間を自由に行き来できるようにするために設けられている。そのため、通路は、施設内の各店舗に必ず隣接するように設けられており、また、ほとんどの通路が連続した領域を形成している。従って、通路領域は、各店舗等の領域よりも大きいものと考えることができる。
The first feature is the “area” of the passage.
As described above, the passage is provided so that the user can freely move between the stores. Therefore, the passage is provided so as to be adjacent to each store in the facility, and most passages form a continuous region. Therefore, it can be considered that the passage area is larger than the area of each store or the like.
第２の特徴は、施設内に設置された案内板における通路の「色」である。
通常の案内板では、施設内に複数の通路が設けられている場合でも、同一の色を用いて複数の通路を表示することが多い。そのため、例えば、案内板に基づく画像データ中に、面積の大きさの差が小さい２つの領域が存在している場合で、これら２つの領域の色の差が小さいときには、両方の領域がともに通路領域であると考えることができる。
The second feature is the “color” of the passage in the guide plate installed in the facility.
In a normal guide plate, even when a plurality of passages are provided in a facility, a plurality of passages are often displayed using the same color. Therefore, for example, in the case where there are two regions with a small difference in area size in the image data based on the guide plate, and when the difference in color between these two regions is small, both regions are both passages. It can be considered an area.
第３の特徴は、「通路を囲む矩形の面積」である。
第１の特徴でも説明したように、通路は、施設内の各店舗に必ず隣接するように設けられている。また、このような通路は、通常、施設全体に行き渡るように設けられている。そのため、通路領域全体を囲むような矩形を考えた場合、この面積は、店舗等のそれぞれの領域を囲むような矩形の面積よりも大きいものと考えることができる。
このとき設定される矩形は、通路領域の「最大横長さ」および「最大縦長さ」によって定義することができる。「最大横長さ」は、通路領域における画像座標系でのｘ軸方向の最大座標値および最小座標値の差によって得ることができる。また、「最大縦長さ」は、当該通路領域における画像座標系でのｙ軸方向の最大座標値および最小座標値の差によって得ることができる。なお、このように定義された矩形は、すべての辺において通路領域の一部と接するため、以下の説明では、「通路を囲む矩形」を「外接矩形」と適宜称するものとする。
The third feature is “a rectangular area surrounding the passage”.
As described in the first feature, the passage is always provided adjacent to each store in the facility. In addition, such a passage is usually provided so as to reach the entire facility. Therefore, when a rectangle surrounding the entire passage area is considered, this area can be considered to be larger than the area of the rectangle surrounding each area such as a store.
The rectangle set at this time can be defined by “maximum horizontal length” and “maximum vertical length” of the passage area. The “maximum lateral length” can be obtained by the difference between the maximum coordinate value and the minimum coordinate value in the x-axis direction in the image coordinate system in the passage area. The “maximum vertical length” can be obtained by the difference between the maximum coordinate value and the minimum coordinate value in the y-axis direction in the image coordinate system in the passage area. In addition, since the rectangle defined in this way is in contact with a part of the passage area on all sides, in the following description, the “rectangle surrounding the passage” is appropriately referred to as a “circumscribed rectangle”.
そこで、本実施の形態１では、ラベルが付与された各ラベリング領域において、上述した第１〜第３の特徴を順次比較することにより、画像データ中の通路領域を推定する。 Therefore, in the first embodiment, the passage area in the image data is estimated by sequentially comparing the first to third features described above in each labeling area to which a label is assigned.
図８は、図３の通路領域推定部２４で行われる通路領域推定処理の流れの一例を示すフローチャートである。
まず、ステップＳ１において、通路領域推定部２４は、領域毎にラベルが付与されたラベリング画像データから、面積が最大となる第１のラベリング領域Ｌ１と、この第１のラベリング領域Ｌ１の次に面積が大きい第２のラベリング領域Ｌ２を抽出する。
FIG. 8 is a flowchart showing an example of the flow of the passage area estimation process performed by the passage
First, in step S1, the passage
次に、通路領域推定部２４は、第１のラベリング領域Ｌ１の面積を示す画素数と、第２のラベリング領域Ｌ２の面積を示す画素数に予め設定された係数αを乗じた値とを比較し、式（２）を満足するか否かを判断する（ステップＳ２）。ここでは、上述した第１の特徴についての判断を行う。なお、式（２）における「Ｌ１」および「Ｌ２」は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２の画素数を示す。また、係数αは、１より大きい値とする。
Next, the passage
式（２）を満足すると判断した場合（ステップＳ２；Ｙｅｓ）、通路領域推定部２４は、第１のラベリング領域Ｌ１が通路領域であると判断し、第１のラベリング領域Ｌ１が通路領域であることを示す通路情報を含む画像情報を出力する（ステップＳ３）。
一方、式（２）を満足しないと判断した場合（ステップＳ２；Ｎｏ）には、処理がステップＳ４に移行する。
If it is determined to satisfy equation (2) (Step S2; Yes), the passage
On the other hand, if it is determined that the expression (2) is not satisfied (step S2; No), the process proceeds to step S4.
次に、通路領域推定部２４は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２の色について、式（３）を満足するか否かを判断する（ステップＳ４）。ここでは、上述した第２の特徴についての判断を行う。なお、式（３）における「Ｌ１」および「Ｌ２」は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２内のすべての画素における画素値の平均を示す。
Next, the passage
式（３）を満足すると判断した場合（ステップＳ４；Ｙｅｓ）、通路領域推定部２４は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２が通路領域であると判断し、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２が通路領域であることを示す通路情報を含む画像情報を出力する（ステップＳ５）。
一方、式（３）を満足しないと判断した場合（ステップＳ４；Ｎｏ）には、処理がステップＳ６に移行する。
If it is determined to satisfy the equation (3) (step S4; Yes), the passage
On the other hand, when it is determined that Expression (3) is not satisfied (step S4; No), the process proceeds to step S6.
ステップＳ６において、通路領域推定部２４は、第１のラベリング領域Ｌ１および第２のラベリング領域Ｌ２のそれぞれを囲む外接矩形の面積を示す画素数を比較し、式（４）を満足するか否かを判断する。ここでは、上述した第３の特徴についての判断を行う。なお、式（４）における「Ｌ１」は、第１のラベリング領域Ｌ１を囲む外接矩形の領域における画素数を示す。また、「Ｌ２」は、第２のラベリング領域Ｌ２を囲む外接矩形の領域における画素数を示す。
In step S6, whether the passage
式（４）を満足すると判断した場合（ステップＳ６；Ｙｅｓ）、通路領域推定部２４は、第１のラベリング領域Ｌ１が通路領域であると判断し、第１のラベリング領域Ｌ１が通路領域であることを示す通路情報を含む画像情報を出力する（ステップＳ７）。
一方、式（４）を満足しないと判断した場合（ステップＳ６；Ｎｏ）、通路領域推定部２４は、第２のラベリング領域Ｌ２が通路領域であると判断し、第２のラベリング領域Ｌ２が通路領域であることを示す通路情報を含む画像情報を出力する（ステップＳ８）。
If it is determined to satisfy the equation (4) (Step S6; Yes), the passage
On the other hand, when it is determined not to satisfy the equation (4) (Step S6; No), the passage
次に、位置推定部３０で行われる位置推定処理について説明する。
なお、ここでは、位置推定部３０を構成する粒子初期化部３２、予測計算部３３、尤度計算部３４、リサンプリング部３５および位置計算部３６のそれぞれで行われる処理を含む全体的な処理を総称して「位置推定処理」と称する。
Next, the position estimation process performed by the
Here, overall processing including processing performed by each of the
（粒子の状態）
まず、各部で行われる処理を説明する前に、位置推定処理を行う際に用いられる粒子について説明する。
位置推定部３０では、上述したように粒子フィルタを用い、現在位置と推定された範囲内に複数の粒子を配置する。また、位置推定部３０は、配置された複数の粒子を情報端末１の移動に応じて移動させることにより、移動後の現在位置を推定する。
(Particle state)
First, before explaining the process performed in each part, the particle | grains used when performing a position estimation process are demonstrated.
The
ＤＲ処理部３１におけるスマートＰＤＲ処理によってｋ番目のステップイベントが検出された場合、複数の粒子のそれぞれは、式（５）に示す状態ｓｋを有している。
なお、式（５）において、「ｘｋ」および「ｙｋ」は、画像座標系（ＩＣＳ；Image Coordinate System）における粒子の位置である座標を示す。また、「ｍｐｐｋ（meter per pixel）」は、１画素あたりのグローバル座標系（ＧＣＳ；Global Coordinate System）における距離、すなわち画像データである屋内地図データの縮尺を示す。「θｋ」は、画像座標系におけるｘ軸方向をグローバル座標系に変換した際の方位を示す。
When the k-th step event is detected by the smart PDR process in the
In Expression (5), “x k ” and “y k ” indicate coordinates that are the positions of particles in an image coordinate system (ICS). “Mpp k (meter per pixel)” indicates a distance in a global coordinate system (GCS) per pixel, that is, a scale of indoor map data as image data. “Θ k ” indicates an orientation when the x-axis direction in the image coordinate system is converted into the global coordinate system.
本実施の形態１では、式（５）のように示される粒子の状態に含まれる各種の情報を用いることにより、情報端末１の位置を推定する。
In the first embodiment, the position of the
次に、粒子初期化部３２における粒子初期化処理、予測計算部３３における予測計算処理、尤度計算部３４における尤度計算処理、リサンプリング部３５におけるリサンプリング処理、および位置計算部３６における位置計算処理について説明する。
Next, particle initialization processing in the
（粒子初期化処理）
位置推定部３０で行われる位置推定処理を最初に行う際には、屋内地図データ上での情報端末１の初期位置が不明である。そこで、この粒子初期化処理では、情報端末１の初期位置を推定し、この初期位置に対応する、予め設定された数の複数の粒子を配置するための処理を行う。
ここで、複数の粒子のうちｉ番目の粒子における初期状態ｓ０ （ｉ）は、上述した式（５）に基づき、式（６）のように示すことができる。なお、粒子の初期状態を示す各種の値に付された「（ｉ）」は、その値がｉ番目の粒子のものであることを示す。
(Particle initialization process)
When the position estimation process performed by the
Here, the initial state s 0 (i) in the i-th particle among the plurality of particles can be expressed as in Expression (6) based on Expression (5) described above. Note that “(i)” attached to various values indicating the initial state of the particle indicates that the value is that of the i-th particle.
粒子初期化処理は、例えばユーザによって情報端末１の現在位置が指定されることによって行われる。具体的には、まず、ユーザが情報端末１の表示部４に表示された屋内地図データ上の２点をタップすることにより、情報端末１の現在位置が指定される。ここで、「タップ」とは、ユーザが指等を表示部４に接触させることをいう。
The particle initialization process is performed by, for example, designating the current position of the
まず、本実施の形態１における位置推定を行う際には、情報端末１の表示部４に表示された屋内地図データ上の現在位置に対応する位置がユーザによってタップされる。その後、ユーザが任意の歩数だけ移動した際に、移動先の現在位置に対応する屋内地図データ上の位置がタップされる。
First, when performing position estimation in the first embodiment, a position corresponding to the current position on the indoor map data displayed on the
図９は、図４の粒子初期化部３２で行われる粒子初期化処理について説明するための概略図である。
ユーザによってタップされた屋内地図データ上の２つ地点におけるそれぞれの座標は、図９のように示すことができるが、タップされた地点は、実際の地点からずれている可能性がある。そのため、ｎ点目のタップの際に実際の地点に位置する確率Ｐは、このようなずれをガウス分布Ｎのエラーモデルとした場合に、式（７）に基づき算出することができる。なお、式（７）における「σｔａｐ」は、ガウス分布Ｎの分散を示す。
FIG. 9 is a schematic diagram for explaining the particle initialization process performed by the
The coordinates at two points on the indoor map data tapped by the user can be shown as shown in FIG. 9, but the tapped point may be deviated from the actual point. Therefore, the probability P of being located at the actual point at the time of the n-th tap can be calculated based on the equation (7) when such a deviation is used as an error model of the Gaussian distribution N. Note that “σ tap ” in Equation (7) indicates the variance of the Gaussian distribution N.
そして、タップされた２点間の距離ｌｔａｐおよび方位θｔａｐは、式（８）に基づき算出することができる。 Then, the distance l tap and the azimuth θ tap between the tapped two points can be calculated based on Expression (8).
一方、１点目をタップしてから２点目をタップするまでの間に、ｋ´回のステップイベントが検出された場合、情報端末１がグローバル座標系におけるｘ軸方向およびｙ軸方向に移動した距離は、式（９）に基づき算出することができる。なお、式（９）における「ｌｓ」は、ｓ回目のステップにおける歩幅を示す。また、「ｈｓ」は、ｓ回目のステップにおける進行方向を示す。これらの値は、スマートＰＤＲ処理によって得られるＤＲ情報に基づいて取得することができる。
On the other hand, if k ′ step events are detected between the first point and the second point, the
また、１点目をタップしてから２点目をタップするまでの間に、実際に情報端末１が移動した距離ｌｍｏｖｅおよび方位θｍｏｖｅは、式（９）を用いて式（１０）に基づき算出することができる。なお、この距離ｌｍｏｖｅおよび方位θｍｏｖｅは、ＤＲ処理部３１におけるスマートＰＤＲ処理によって算出される。
In addition, the distance l move and the azimuth θ move that the
従って、式（６）に示すｉ番目の粒子における初期状態ｓｋは、式（７）〜式（１０）に基づき、式（１１）のように算出することができる。これにより、初期位置での縮尺および方位に関する情報を取得することができる。
なお、式（１１）において、ｉ番目の粒子における初期状態の座標ｘ０ （ｉ）およびｙ０ （ｉ）は、２点目にタップされた際の画像座標系での座標（ｘｔａｐ，２ ＩＣＳ（ｉ），ｙｔａｐ，２ ＩＣＳ（ｉ））に基づき算出される。この座標（ｘｔａｐ，２ ＩＣＳ（ｉ），ｙｔａｐ，２ ＩＣＳ（ｉ））は、２点目をタップした際の画像座標系での座標（ｘｔａｐ，２ ＩＣＳ´，ｙｔａｐ，２ ＩＣＳ´）の値に、式（７）を用いてノイズを付加することによって算出することができる。また、距離ｌｔａｐ （ｉ）および方位θｔａｐ （ｉ）は、式（７）によってノイズが付加された画像座標系でのタップ地点の座標（ｘｔａｐ，１ ＩＣＳ（ｉ），ｙｔａｐ，１ ＩＣＳ（ｉ））および（ｘｔａｐ，２ ＩＣＳ（ｉ），ｙｔａｐ，２ ＩＣＳ（ｉ））に基づき、式（８）を用いて算出することができる。
Thus, the initial state s k at the i-th particle shown in equation (6), based formula (7) to Formula (10) can be calculated by the equation (11). Thereby, the information regarding the reduced scale and azimuth | direction in an initial position is acquirable.
In equation (11), the coordinates x 0 (i) and y 0 (i) in the initial state of the i-th particle are the coordinates (x tap, 2 ) in the image coordinate system when tapped at the second point. ICS (i) , y tap, 2 ICS (i) ). The coordinates (x tap, 2 ICS (i) , y tap, 2 ICS (i) ) are the coordinates (x tap, 2 ICS ′, y tap, 2 ICS ) in the image coordinate system when the second point is tapped. It can be calculated by adding noise to the value of ′) using equation (7). Further, the distance l tap (i) and the azimuth θ tap (i) are the coordinates of the tap point (x tap, 1 ICS (i) , y tap, 1 ) in the image coordinate system to which noise is added according to the equation (7). ICS (i) ) and (x tap, 2 ICS (i) , y tap, 2 ICS (i) ) can be calculated using equation (8).
粒子初期化処理では、このようにして得られる算出結果に基づき、初期状態の粒子を配置する。そして、粒子初期化処理では、式（１１）による計算を複数回行うことによって複数の粒子の状態を算出し、算出結果に応じた位置に複数の粒子を配置する。このときの複数の粒子は、２点目にタップされた位置の周囲に配置されることになる。 In the particle initialization process, the particles in the initial state are arranged based on the calculation result thus obtained. In the particle initialization process, the state of the plurality of particles is calculated by performing the calculation according to the expression (11) a plurality of times, and the plurality of particles are arranged at positions corresponding to the calculation result. The plurality of particles at this time are arranged around the position tapped at the second point.
（予測計算処理）
予測計算処理は、情報端末１が移動した場合に、初期値として配置されている複数の粒子の移動先を推定する処理である。この処理は、例えばユーザが１歩歩く毎に行われる。
具体的には、予測計算部３３は、スマートＰＤＲ処理によってステップイベントが検出されると、このスマートＰＤＲ処理によって得られるＤＲ情報に基づき、ステップイベント後におけるそれぞれの粒子の状態を算出して推定する。そして、予測計算部３３は、推定結果に応じた位置にそれぞれの粒子を配置する。
(Prediction calculation process)
The prediction calculation process is a process for estimating the movement destinations of a plurality of particles arranged as initial values when the
Specifically, when a step event is detected by the smart PDR process, the
例えば、ｋ回目のステップイベント後におけるｉ番目の粒子の状態は、式（１２）で表すことができる。 For example, the state of the i-th particle after the k-th step event can be expressed by Expression (12).
また、式（１２）にける各値は、式（１３）に基づき算出することができる。なお、式（１３）において、縮尺ｍｐｐｋ （ｉ）および方位θｋ （ｉ）には、ガウス分布Ｎをノイズとしてそれぞれの値に加算している。これにより、複数の粒子のそれぞれが、次に移動する際に、互いに異なる距離および方向に移動することになる。 Moreover, each value in Formula (12) can be calculated based on Formula (13). In Expression (13), the Gaussian distribution N is added as noise to each value for the scale mpp k (i) and the direction θ k (i) . As a result, each of the plurality of particles moves to a different distance and direction when moving next time.
このようにして、予測計算処理では、すべての粒子に対する状態を算出し、算出結果に応じた位置に複数の粒子を移動させる。 In this way, in the prediction calculation process, the state for all particles is calculated, and a plurality of particles are moved to positions according to the calculation results.
（尤度計算処理）
尤度計算処理は、予測計算処理の結果に応じて移動した粒子に対して尤度を設定するための処理である。
例えば、ユーザが施設内を移動する場合には、通常、通路を移動するので、ユーザが携帯している情報端末１も通路領域内を移動することになる。そのため、予測計算処理による推定結果に基づいて移動した複数の粒子のうち、屋内地図データ中の通路領域以外の非通路領域に移動したり、壁などの領域を通過したりする粒子は、推定結果として適切ではない。
そこで、この尤度計算処理では、画像解析部２０によって得られた画像情報に含まれる通路情報に基づき、予測計算処理の推定結果に応じて移動した複数の粒子のうち、適切でない移動を行う粒子を除外する処理を行う。
(Likelihood calculation processing)
The likelihood calculation process is a process for setting the likelihood for particles that have moved according to the result of the prediction calculation process.
For example, when the user moves in a facility, the user usually moves in the passage, so the
Therefore, in this likelihood calculation process, based on the path information included in the image information obtained by the
粒子に対して尤度を設定する場合には、例えば、それぞれの粒子に対して重み付けを行う。情報端末１が通路領域から外れないと仮定した場合に、複数の粒子のうちｉ番目の粒子に対する重みｗ（ｉ）は、式（１４）で算出することができる。このような重み付けは、例えば、配置されている複数の粒子のそれぞれの座標情報と、通路領域の座標情報とを比較し、粒子が通路領域内に位置するか否かを判断することによって行われる。なお、式（１４）における値「Ｍ」は、この処理によって除外されなかった粒子の数を示す。
In the case where the likelihood is set for each particle, for example, each particle is weighted. When it is assumed that the
このように、通路領域外に配置された粒子に対して値が「０」となる重みｗ（ｉ）を付加することにより、適切でない動作をした粒子を、位置推定処理から除外することができる。 As described above, by adding the weight w (i) having a value of “0” to the particles arranged outside the passage region, it is possible to exclude particles that have performed an inappropriate operation from the position estimation process. .
なお、この例では、除外されなかった複数の粒子に対して付加される重みｗ（ｉ）の値を一様としているが、これに限らず、例えば粒子毎に異なる値の重みｗ（ｉ）を付加してもよい。具体的には、例えば、動きが実際の情報端末１の動きにより近い粒子に対して、他の粒子よりも値の大きい重みｗ（ｉ）を付加する。これにより、位置推定の精度をより向上させることができる。
In this example, the value of the weight w (i) added to the plurality of particles that are not excluded is uniform. However, the present invention is not limited to this. For example, the weight w (i) having a different value for each particle. May be added. Specifically, for example, a weight w (i) having a larger value than other particles is added to the particles whose movement is closer to the actual movement of the
（リサンプリング処理）
リサンプリング処理は、尤度計算処理によって除外されなかった粒子に基づき、初期値として配置された複数の粒子と同数の粒子を再配置する処理である。
このリサンプリング処理では、まず、残った複数の粒子から１つの粒子だけを選択し、選択した粒子を複製する。そして、複製された粒子を、この粒子が有する状態に含まれる座標情報が示す屋内地図データ上での位置に再配置する。このとき、粒子の選択は、尤度分布に基づき行われ、例えば、それぞれに付加された重みｗ（ｉ）の値が大きい粒子ほど、選択される可能性が高くなる。ただし、この例では、残った粒子に対する重みの値が一様であるため、選択される粒子はランダムとなる。
(Resampling process)
The resampling process is a process of rearranging the same number of particles as a plurality of particles arranged as initial values based on the particles not excluded by the likelihood calculation process.
In this resampling process, first, only one particle is selected from the plurality of remaining particles, and the selected particle is duplicated. Then, the duplicated particles are rearranged at the positions on the indoor map data indicated by the coordinate information included in the state of the particles. At this time, the selection of the particles is performed based on the likelihood distribution. For example, the larger the value of the weight w (i) added to each particle, the higher the possibility of selection. However, in this example, since the weight values for the remaining particles are uniform, the selected particles are random.
次に、リサンプリング処理では、上述したような１つの粒子だけを選択するとともに、選択された粒子を複製して再配置する処理を、再配置された粒子の数が粒子初期化処理によって配置された粒子の数と同数となるまで繰り返す。これにより、残った粒子を利用して、最初に配置された粒子数と同数の粒子を得ることができる。そして、予め設定された数の粒子が再配置されると、複製に利用した、尤度計算処理によって残った粒子を破棄する。 Next, in the resampling process, only one particle as described above is selected, and the process of replicating and rearranging the selected particle is arranged by the particle initialization process. Repeat until the number of particles is the same. Thereby, the same number of particles as the number of initially arranged particles can be obtained using the remaining particles. When a preset number of particles are rearranged, the particles remaining in the likelihood calculation process used for replication are discarded.
このようにして得られた複数の粒子は、予測計算部３３に対して出力され、次のステップイベントが発生した際の予測計算処理における粒子の初期値として用いられる。
The plurality of particles obtained in this way are output to the
（位置計算処理）
位置計算処理は、情報端末１の推定現在位置を決定するための処理である。
この位置計算処理は、尤度計算処理によって残った複数の粒子の位置および方位を含む状態を示す情報に基づき、例えば配置されているそれぞれの粒子の平均または重心の位置および方位を推定現在位置として決定する。
(Position calculation processing)
The position calculation process is a process for determining the estimated current position of the
This position calculation process is based on information indicating a state including the positions and orientations of a plurality of particles remaining by the likelihood calculation process, for example, using the average or the center of gravity position and orientation of each arranged particle as the estimated current position. decide.
［位置推定処理による動作］
図１０は、実施の形態１に係る位置推定処理について説明するための概略図である。
まず、図１０（ａ）に示すように、予測計算部３３の予測計算処理により、実際の現在位置に対する現在位置の範囲Ｒが推定されているものとする。この場合には、図１０（ｂ）に示すように、範囲Ｒ内に複数の粒子ｓが配置されている。
[Operation by position estimation processing]
FIG. 10 is a schematic diagram for explaining the position estimation process according to the first embodiment.
First, as shown in FIG. 10A, it is assumed that the range R of the current position with respect to the actual current position is estimated by the prediction calculation processing of the
次に、図１０（ｃ）に示すように、情報端末１を携帯しているユーザが移動する。このとき、スマートＰＤＲ処理によってステップイベントが検出される毎に、予測計算部３３の予測計算処理により、配置されているそれぞれの粒子ｓの移動距離および方位が推定される。そして、図１０（ｄ）に示すように、それぞれの粒子ｓが推定結果に基づいて移動する。
次に、尤度計算部３４における尤度計算処理により、それぞれの粒子ｓに対して尤度を設定し、図１０（ｅ）に示すように、適切でない動きによって移動した粒子ｓを除外する。この例では、通路間の壁に相当する領域を通過した粒子ｓが、適切でない動きを行ったと判断され、除外される。
Next, as shown in FIG. 10C, the user carrying the
Next, likelihood is set for each particle s by likelihood calculation processing in the
最後に、リサンプリング部３５におけるリサンプリング処理により、図１０（ｆ）に示すように、残ったすべての粒子ｓを利用して、粒子初期化処理によって配置された粒子の数と同数の複数の粒子ｓを再配置する。
Finally, by the resampling process in the
以上のように、本実施の形態１に係る情報端末１は、環境情報を取得し、センサ情報として出力するセンサと、ユーザが通行する領域である通路領域および通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部４と、ユーザの操作に応じた操作信号を出力する操作部５と、地図データ上での自装置の位置を推定する位置推定部３０を有するとともに、推定された自装置の位置を示す表示を地図データに重畳させて表示部４に表示させる制御部１０とを備えている。また、位置推定部３０は、センサから出力されたセンサ情報に基づき、地図データ上での自装置の現在位置を推定するためのＤＲ情報を出力し、ＤＲ情報、および操作部５を介して入力された地図データ上での位置を示す情報に基づき、地図データの縮尺に関する情報および方位に関する情報を取得し、ＤＲ情報、縮尺に関する情報および方位に関する情報に基づき、自装置が移動する位置を推定する。
As described above, the
このように、本実施の形態１では、各種センサからのセンサ情報に基づき得られるＤＲ情報を用いて、地図データの縮尺および方位に関する情報を取得し、取得した縮尺および方位に関する情報に基づき、情報端末１の位置を推定する。そのため、縮尺および方位が不明な屋内地図データを用いて情報端末１の位置を推定する場合であっても、地図データの縮尺および方位に関する情報を取得することができ、情報端末１の位置を正確に推定することができる。
As described above, in the first embodiment, using the DR information obtained based on the sensor information from various sensors, the information about the scale and direction of the map data is acquired, and based on the acquired information about the scale and direction, the information The position of the
また、位置推定部３０は、ＤＲ情報に基づき、操作部５を介して入力された地図データ上での位置の周囲に、座標に関する情報、縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化部３２と、ＤＲ情報に基づき、配置された複数の粒子が自装置の移動に応じて移動する位置を推定して移動させる予測計算部３３と、移動した複数の粒子のうち、非通路領域に移動した粒子を除外する尤度計算部３４と、尤度計算部３４の処理によって残った複数の粒子に基づき、現在位置を推定する位置計算部３６と、尤度計算部３４の処理によって残った複数の粒子に基づき、初期値の複数の粒子と同数の粒子を、粒子の状態に含まれる座標に関する情報が示す位置に再配置するリサンプリング部３５とを有し、予測計算部３３は、リサンプリング部３５によって再配置された複数の粒子を次回の処理の初期値として用いている。
Further, the
このように、本実施の形態１では、ＤＲ処理部３１からのＤＲ情報に基づき、縮尺および方位に関する情報を含む状態を有する複数の粒子を初期値として配置し、この複数の粒子に基づき、情報端末１の移動に応じて複数の粒子を移動させる。そのため、縮尺および方位が不明な屋内地図データを用いて情報端末１の位置を推定する場合であっても、情報端末１の位置を正確に推定することができる。
As described above, in the first embodiment, based on the DR information from the
さらに、本実施の形態１に係る情報端末１は、地図データとしての画像データを取得する画像データ取得部としての撮像部２と、画像データから通路領域を推定する画像解析部２０とを備えている。また、画像解析部２０は、画像データから、画像データ中のエッジを検出するエッジ検出処理部２１と、画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部２２と、エッジおよび領域分割画像データに基づき、領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された複数の領域を形成する画素に対して同一のラベルを付与し、同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部２３と、ラベリング画像データに含まれる複数のラベリング領域からユーザが通行する領域である通路領域を推定し、通路領域を示す情報を含む画像情報を生成する通路領域推定部２４とを有している。
Furthermore, the
このように、本実施の形態１では、施設の案内板等を撮像して得られる画像データを地図データとして取得し、取得した画像データからエッジを検出するとともに、画像データ中の領域を分割した領域分割画像データを生成する。そして、エッジおよび領域分割画像データに基づきラベリング画像データを生成し、付与されたラベルが異なる領域同士の面積等の状態を比較し、通路領域を推定する。そのため、正確な地図データがない場合であっても、通路領域を容易に推定することができる。 As described above, in the first embodiment, image data obtained by imaging a facility information board or the like is acquired as map data, an edge is detected from the acquired image data, and an area in the image data is divided. Region divided image data is generated. Then, labeling image data is generated on the basis of the edge and the region-divided image data, and the states such as areas of regions having different labels are compared to estimate the passage region. Therefore, even if there is no accurate map data, the passage area can be easily estimated.
以上、本実施の形態１について説明したが、本発明は、上述した実施の形態１に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
本実施の形態１では、施設に設けられた案内板等の屋内地図を撮像して得られる画像データを屋内地図データとして取得した場合を例にとって説明したが、実施例としてはこの例に限られない。例えば、通路領域を推定する際に使用する屋内地図データは、予め取得した地図データを用いてもよい。このような地図データは、縮尺および方位を示す情報を含まない屋内地図データであってもよく、また、画像データでなくてもよい。
Although the first embodiment has been described above, the present invention is not limited to the above-described first embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
In the first embodiment, the case where image data obtained by capturing an indoor map such as a guide board provided in a facility is acquired as indoor map data is described as an example. However, the embodiment is limited to this example. Absent. For example, map data acquired in advance may be used as indoor map data used when estimating a passage area. Such map data may be indoor map data that does not include information indicating the scale and orientation, and may not be image data.
また、本実施の形態１では、画像データ取得部として撮像部２を用いて地図データとしての画像データを取得するように説明したが、これに限らず、例えばインターネット等を介して地図データを取得してもよい。
In the first embodiment, the image data is acquired as the map data using the
さらに、本実施の形態１では、位置推定部３０で用いられるデッドレコニングとしてスマートＰＤＲを適用したが、これに限らず、他のＰＤＲを適用してもよい。また、本実施の形態１におけるＤＲ情報に相当する情報を得られる方法であれば、Ｗｉ−Ｆｉなどの他の方法を用いてもよい。
Furthermore, although the smart PDR is applied as dead reckoning used in the
さらにまた、本実施の形態１では、施設等の屋内における位置を推定する場合を例にとって説明したが、これに限らず、屋外、特にＧＰＳによる位置情報を受信できない場所などにおいても、適用可能である。 Furthermore, in the first embodiment, the case where the indoor position of a facility or the like is estimated has been described as an example. However, the present invention is not limited to this, and can be applied to the outdoors, particularly in places where position information cannot be received by GPS. is there.
また、本実施の形態１では、地図データ上に情報端末１の現在位置を推定して表示する場合について説明したが、例えば、このように推定した位置の情報を用いて、情報端末１と共に移動するユーザを、指定された目的地まで案内するようにしてもよい。例えば、このような案内機能は、ユーザによって指定された目的地に情報端末１を案内するための案内機能部を制御部１０に設けることによって実現可能である。
Moreover, in this
この場合、制御部１０の案内機能部は、推定された現在位置からユーザが操作部５を操作することによって入力された目的地までの経路を探索する。そして、制御部１０は、探索の結果得られた経路を地図データ上に重畳して表示部４に表示させる。情報端末１と共に移動するユーザは、表示部４に表示された経路に沿って移動することにより、入力した目的地まで容易に移動することができる。なお、ユーザが経路に沿って移動する際には、例えば音声による案内を行ってもよい。このような音声による案内は、情報端末１にスピーカ等の音声出力部を設けることによって実現可能である。
In this case, the guidance function unit of the
１ 情報端末、２ 撮像部、３ 画像信号処理部、４ 表示部、５ 操作部、６ 加速度センサ、７ 地磁気センサ、８ ジャイロセンサ、９ 記憶部、１０ 制御部、２０ 画像解析部、２１ エッジ検出処理部、２２ 領域分割処理部、２３ ラベリング処理部、２４ 通路領域推定部、３０ 位置推定部、３１ ＤＲ処理部、３２ 粒子初期化部、３３ 予測計算部、３４ 尤度計算部、３５ リサンプリング部、３６ 位置計算部。
DESCRIPTION OF
Claims (16)
ユーザが通行する領域である通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部と、
ユーザの操作に応じた操作信号を出力する操作部と、
前記地図データ上での自装置の位置を推定する位置推定部を有するとともに、前記推定された自装置の位置を示す表示を前記地図データに重畳させて前記表示部に表示させる制御部と
を備え、
前記位置推定部は、
前記センサから出力された前記センサ情報に基づき、前記地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力し、
前記デッドレコニング情報、および前記操作部を介して入力された前記地図データ上での位置を示す情報に基づき、前記地図データの縮尺に関する情報および方位に関する情報を取得し、
前記デッドレコニング情報、前記縮尺に関する情報および前記方位に関する情報に基づき、自装置が移動する位置を推定する
ことを特徴とする情報端末。 A sensor that acquires environmental information and outputs it as sensor information;
A display unit that displays map data having a plurality of areas including a passage area that is a user-passing area and a non-passage area different from the passage area;
An operation unit that outputs an operation signal according to a user operation;
A position estimation unit that estimates the position of the own device on the map data, and a control unit that superimposes a display indicating the estimated position of the own device on the map data and displays the display on the display unit. ,
The position estimation unit
Based on the sensor information output from the sensor, to output dead reckoning information for estimating the current position of the device on the map data,
Based on the dead reckoning information and information indicating the position on the map data input via the operation unit, obtain information on the scale of the map data and information on the orientation,
An information terminal characterized by estimating a position at which the device moves based on the dead reckoning information, information on the scale, and information on the orientation.
前記センサ情報に基づき、前記デッドレコニング情報を出力するデッドレコニング処理部と、
前記デッドレコニング情報に基づき、前記操作部を介して入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化部と、
前記デッドレコニング情報に基づき、配置された前記複数の粒子が自装置の移動に応じて移動する位置を推定し、推定した前記位置に前記複数の粒子を移動させる予測計算部と、
移動した前記複数の粒子のうち、前記非通路領域に移動した粒子を除外する尤度計算部と、
前記尤度計算部の処理によって残った複数の粒子に基づき、現在位置を推定する位置計算部と、
前記尤度計算部の処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリング部と
を有し、
前記予測計算部は、
前記リサンプリング部によって再配置された複数の粒子を、次回の処理の初期値として用いる
ことを特徴とする請求項１に記載の情報端末。 The position estimation unit
A dead reckoning processing unit that outputs the dead reckoning information based on the sensor information;
Based on the dead reckoning information, around the position on the map data input via the operation unit, information about coordinates indicating the position on the map data, information about the scale of the map data, and direction A particle initialization unit that arranges a plurality of particles having a state including at least information on the initial value;
Based on the dead reckoning information, estimate the position where the plurality of arranged particles move according to the movement of its own device, a prediction calculation unit that moves the plurality of particles to the estimated position;
A likelihood calculator that excludes particles that have moved to the non-passage region among the plurality of particles that have moved, and
Based on a plurality of particles remaining by the processing of the likelihood calculation unit, a position calculation unit that estimates a current position;
Based on the plurality of particles remaining by the processing of the likelihood calculation unit, the same number of particles as the plurality of particles of the initial value on the map data indicated by the information regarding the coordinates included in the state of the particles And a resampling unit that rearranges the position,
The prediction calculation unit
The information terminal according to claim 1, wherein a plurality of particles rearranged by the resampling unit are used as initial values for a next process.
前記センサ情報に基づき、自装置が移動したことを示すステップイベントを検出し、
前記ステップイベントが検出される毎に、前記ステップイベントの回数、前記ステップイベント毎の移動距離、および自装置の進行方向を前記デッドレコニング情報として出力し、
前記粒子初期化部は、
前記デッドレコニング情報と、前記操作部を介して入力された前記地図データ上での２点の座標情報とに基づき、初期値の前記複数の粒子のそれぞれにおける前記地図データ上での座標、縮尺および方位を算出し、
前記予測計算部は、
前記デッドレコニング情報と、配置されている前記複数の粒子の状態を示す情報とに基づき、前記複数の粒子を前記ステップイベント検出後に移動させる際の前記複数の粒子の座標、縮尺および方位を算出する
ことを特徴とする請求項２に記載の情報端末。 The dead reckoning processing unit
Based on the sensor information, a step event indicating that the device has moved is detected,
Each time the step event is detected, the number of step events, the distance traveled for each step event, and the traveling direction of the device itself are output as the dead reckoning information,
The particle initialization unit includes:
Based on the dead reckoning information and the coordinate information of two points on the map data input via the operation unit, the coordinates on the map data, the scale, and the initial value of each of the plurality of particles Calculate the direction,
The prediction calculation unit
Based on the dead reckoning information and information indicating the state of the plurality of arranged particles, the coordinates, scale and orientation of the plurality of particles when moving the plurality of particles after detecting the step event are calculated. The information terminal according to claim 2.
前記通路領域の座標情報と、移動した前記複数の粒子の座標情報とに基づき、前記粒子が前記非通路領域に位置する場合に、前記粒子を除外する
ことを特徴とする請求項２または３に記載の情報端末。 The likelihood calculator is
The particle is excluded when the particle is located in the non-passage region based on the coordinate information of the passage region and the coordinate information of the moved particles. The described information terminal.
前記尤度計算部の処理によって残った複数の粒子から１つの粒子をランダムに選択するとともに、選択された粒子を複製して再配置する処理を、再配置された粒子の数が前記初期値の複数の粒子と同数となるまで行い、
前記残った複数の粒子を破棄する
ことを特徴とする請求項２〜４のいずれか一項に記載の情報端末。 The resampling unit
In the process of randomly selecting one particle from the plurality of particles remaining by the processing of the likelihood calculating unit and replicating the selected particle for rearrangement, the number of rearranged particles is equal to the initial value. Repeat until the number of particles is the same,
The information terminal according to any one of claims 2 to 4, wherein the plurality of remaining particles are discarded.
をさらに備え、
前記制御部は、
前記画像データから通路領域を推定する画像解析部
をさらに有し、
前記画像解析部は、
前記画像データから、該画像データ中のエッジを検出するエッジ検出処理部と、
前記画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部と、
前記エッジおよび前記領域分割画像データに基づき、該領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された前記複数の領域を形成する画素に対して、画素値に応じて共通の領域を形成する画素であることを示す同一のラベルを付与し、前記同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部と、
前記ラベリング画像データに含まれる前記複数のラベリング領域から前記通路領域を推定し、該通路領域を示す情報を含む画像情報を生成する通路領域推定部と
を有する
ことを特徴とする請求項１〜５のいずれか一項に記載の情報端末。 An image data acquisition unit for acquiring image data as the map data;
The controller is
An image analysis unit for estimating a passage area from the image data;
The image analysis unit
An edge detection processing unit for detecting an edge in the image data from the image data;
An area division processing unit that divides an image in the image data into a plurality of areas and generates area-divided image data in which pixel values of pixels forming each area are converted into common pixel values;
Based on the edge and the region-divided image data, among the regions in the region-divided image data, a plurality of regions that should be the same region are integrated, and for the pixels that form the integrated plurality of regions Labeling image data having a plurality of labeling regions formed by a plurality of pixels to which the same label is assigned and the same label indicating that the pixels form a common region according to the pixel value A labeling processing unit to be generated;
6. A passage area estimation unit that estimates the passage area from the plurality of labeling areas included in the labeling image data and generates image information including information indicating the passage area. The information terminal according to any one of the above.
前記画像データから通路領域を推定する画像解析部と
を備え、
前記画像解析部は、
前記画像データから、該画像データ中のエッジを検出するエッジ検出処理部と、
前記画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部と、
前記エッジおよび前記領域分割画像データに基づき、該領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された前記複数の領域を形成する画素に対して、画素値に応じて共通の領域を形成する画素であることを示す同一のラベルを付与し、前記同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部と、
前記ラベリング画像データに含まれる前記複数のラベリング領域からユーザが通行する領域である通路領域を推定し、該通路領域を示す情報を含む画像情報を生成する通路領域推定部と
を有する
ことを特徴とする情報端末。 An image data acquisition unit for acquiring image data as map data;
An image analysis unit for estimating a passage area from the image data,
The image analysis unit
An edge detection processing unit for detecting an edge in the image data from the image data;
An area division processing unit that divides an image in the image data into a plurality of areas and generates area-divided image data in which pixel values of pixels forming each area are converted into common pixel values;
Based on the edge and the region-divided image data, among the regions in the region-divided image data, a plurality of regions that should be the same region are integrated, and for the pixels that form the integrated plurality of regions Labeling image data having a plurality of labeling regions formed by a plurality of pixels to which the same label is assigned and the same label indicating that the pixels form a common region according to the pixel value A labeling processing unit to be generated;
A passage region estimation unit that estimates a passage region that is a region through which a user passes from the plurality of labeling regions included in the labeling image data, and generates image information including information indicating the passage region. Information terminal.
前記ラベリング画像データに含まれる前記複数のラベリング領域のうち、面積が最大となる第１の領域と、面積が前記第１の領域に次いで大きい第２の領域とを抽出し、
抽出された前記第１の領域および前記第２の領域における面積と、画素値の平均値と、前記第１の領域および前記第２の領域のそれぞれを囲み、すべての辺において前記第１の領域または前記第２の領域の一部と接する外接矩形の面積とのうち少なくとも１つを比較した結果に基づき、前記第１の領域および前記第２の領域の少なくとも一方のラベリング領域を前記通路領域として推定する
ことを特徴とする請求項６または７に記載の情報端末。 The passage area estimation unit includes:
Of the plurality of labeling regions included in the labeling image data, extract a first region having the largest area, and a second region having the largest area after the first region,
The extracted area in the first region and the second region, the average value of the pixel values, and each of the first region and the second region are enclosed, and the first region in all sides Alternatively, based on the result of comparing at least one of the circumscribed rectangle areas in contact with a part of the second region, the labeling region of at least one of the first region and the second region is used as the passage region. The information terminal according to claim 6, wherein the information terminal is estimated.
前記第１の領域の面積を示す値が前記第２の領域の面積を示す値に予め設定された係数を乗算した値よりも大きい場合に、前記第１の領域を前記通路領域として推定する
ことを特徴とする請求項８に記載の情報端末。 The passage area estimation unit includes:
When the value indicating the area of the first region is larger than the value indicating the area of the second region multiplied by a preset coefficient, the first region is estimated as the passage region. The information terminal according to claim 8.
前記第１の領域の面積を示す値が前記第２の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第１の領域の画素値の平均値と、前記第２の領域の画素値の平均値との差分値が予め設定された値よりも小さい場合に、前記第１の領域および前記第２の領域を前記通路領域として推定する
ことを特徴とする請求項８または９に記載の情報端末。 The passage area estimation unit includes:
A value indicating the area of the first region is not more than a value obtained by multiplying a value indicating the area of the second region by a preset coefficient;
When the difference value between the average value of the pixel values of the first region and the average value of the pixel values of the second region is smaller than a preset value, the first region and the second region The information terminal according to claim 8 or 9, wherein an area is estimated as the passage area.
前記第１の領域の面積を示す値が前記第２の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第１の領域の画素値の平均値と、前記第２の領域の画素値の平均値との差分値が予め設定された値以上であり、
前記第１の領域を囲む外接矩形の面積を示す値が前記第２の領域を囲む外接矩形の面積を示す値よりも大きい場合に、前記第１の領域を前記通路領域として推定する
ことを特徴とする請求項８〜１０のいずれか一項に記載の情報端末。 The passage area estimation unit includes:
A value indicating the area of the first region is not more than a value obtained by multiplying a value indicating the area of the second region by a preset coefficient;
The difference value between the average value of the pixel values of the first region and the average value of the pixel values of the second region is not less than a preset value,
When the value indicating the area of the circumscribed rectangle surrounding the first region is larger than the value indicating the area of the circumscribed rectangle surrounding the second region, the first region is estimated as the passage region. The information terminal according to any one of claims 8 to 10.
前記第１の領域の面積を示す値が前記第２の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第１の領域の画素値の平均値と、前記第２の領域の画素値の平均値との差分値が予め設定された値以上であり、
前記第１の領域を囲む外接矩形の面積を示す値が前記第２の領域を囲む外接矩形の面積を示す値以下である場合に、前記第２の領域を前記通路領域として推定する
ことを特徴とする請求項８〜１０のいずれか一項に記載の情報端末。 The passage area estimation unit includes:
A value indicating the area of the first region is not more than a value obtained by multiplying a value indicating the area of the second region by a preset coefficient;
The difference value between the average value of the pixel values of the first region and the average value of the pixel values of the second region is not less than a preset value,
When the value indicating the area of the circumscribed rectangle surrounding the first region is equal to or less than the value indicating the area of the circumscribed rectangle surrounding the second region, the second region is estimated as the passage region. The information terminal according to any one of claims 8 to 10.
地図を撮像して得られる撮像信号に基づき、前記画像データを取得する撮像部である
ことを特徴とする請求項６〜１２のいずれか一項に記載の情報端末。 The image data acquisition unit
The information terminal according to any one of claims 6 to 12, wherein the information terminal is an imaging unit that acquires the image data based on an imaging signal obtained by imaging a map.
前記操作部を介して前記地図データ上での目的地が入力された場合に、現在地から入力された前記目的地までの経路を前記地図データ上に表示させ、自装置を前記目的地まで案内する案内機能を有する
ことを特徴とする請求項１〜１３のいずれか一項に記載の情報端末。 The controller is
When a destination on the map data is input via the operation unit, a route from the current location to the input destination is displayed on the map data, and the device is guided to the destination. It has a guidance function, The information terminal as described in any one of Claims 1-13 characterized by the above-mentioned.
前記デッドレコニング情報に基づき、ユーザの操作に応じて入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化ステップと、
配置した前記複数の粒子が自装置の移動に応じて移動する位置を前記デッドレコニング情報に基づき推定し、推定した前記位置に前記複数の粒子を移動させる予測計算ステップと、
移動した前記複数の粒子のうち、前記地図データに含まれる前記非通路領域に移動した粒子を除外する尤度計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、現在位置を推定する位置計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリングステップと
を有し、
前記予測計算ステップは、
前記リサンプリングステップの処理によって再配置された複数の粒子を、次回の処理の初期値として用いる
ことを特徴とする位置推定方法。 In order to estimate the current position of the device on map data having a plurality of areas including a passage area where a user passes and a non-passage area different from the passage area based on sensor information from a sensor that acquires environmental information Dead reckoning processing step for outputting dead reckoning information of
Based on the dead reckoning information, around the position on the map data input according to the user's operation, information about coordinates indicating the position on the map data, information about the scale of the map data, and direction A particle initialization step of arranging, as an initial value, a plurality of particles having a state including at least information about
Predicting calculation step of estimating the position where the plurality of arranged particles move according to the movement of the device based on the dead reckoning information, and moving the plurality of particles to the estimated position;
A likelihood calculation step of excluding particles that have moved to the non-passage area included in the map data from among the plurality of particles that have moved,
A position calculating step for estimating a current position based on a plurality of particles remaining by the processing of the likelihood calculating step;
Based on the plurality of particles remaining in the likelihood calculating step, the same number of particles as the plurality of initial values on the map data indicated by the information about the coordinates included in the state of the particles Resampling step to reposition to a position;
The prediction calculation step includes:
A position estimation method using a plurality of particles rearranged by the processing of the resampling step as an initial value of a next processing.
環境情報を取得するセンサからのセンサ情報に基づき、ユーザが通行する通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力するデッドレコニング処理ステップと、
前記デッドレコニング情報に基づき、ユーザの操作に応じて入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化ステップと、
配置した前記複数の粒子が自装置の移動に応じて移動する位置を前記デッドレコニング情報に基づき推定し、推定した前記位置に前記複数の粒子を移動させる予測計算ステップと、
移動した前記複数の粒子のうち、前記地図データに含まれる前記非通路領域に移動した粒子を除外する尤度計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、現在位置を推定する位置計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリングステップと
前記リサンプリングステップの処理によって再配置された複数の粒子を、前記予測計算ステップにおける次回の処理の初期値として用いるステップと
を実行させることを特徴とする位置推定プログラム。 On the computer,
In order to estimate the current position of the device on map data having a plurality of areas including a passage area where a user passes and a non-passage area different from the passage area based on sensor information from a sensor that acquires environmental information Dead reckoning processing step for outputting dead reckoning information of
Based on the dead reckoning information, around the position on the map data input according to the user's operation, information about coordinates indicating the position on the map data, information about the scale of the map data, and direction A particle initialization step of arranging, as an initial value, a plurality of particles having a state including at least information about
Predicting calculation step of estimating the position where the plurality of arranged particles move according to the movement of the device based on the dead reckoning information, and moving the plurality of particles to the estimated position;
A likelihood calculation step of excluding particles that have moved to the non-passage area included in the map data from among the plurality of particles that have moved,
A position calculating step for estimating a current position based on a plurality of particles remaining by the processing of the likelihood calculating step;
Based on the plurality of particles remaining in the likelihood calculating step, the same number of particles as the plurality of initial values on the map data indicated by the information about the coordinates included in the state of the particles Re-sampling step for rearranging the position, and using the plurality of particles rearranged by the process of the re-sampling step as initial values for the next process in the prediction calculation step. program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016056139A JP6653507B2 (en) | 2016-03-18 | 2016-03-18 | Information terminal, position estimation method, and position estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016056139A JP6653507B2 (en) | 2016-03-18 | 2016-03-18 | Information terminal, position estimation method, and position estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017173001A true JP2017173001A (en) | 2017-09-28 |
| JP6653507B2 JP6653507B2 (en) | 2020-02-26 |
Family
ID=59973831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016056139A Expired - Fee Related JP6653507B2 (en) | 2016-03-18 | 2016-03-18 | Information terminal, position estimation method, and position estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6653507B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815011A (en) * | 2019-04-10 | 2020-10-23 | 财付通支付科技有限公司 | Message sending method and device, computer equipment and storage medium |
| CN112747744A (en) * | 2020-12-22 | 2021-05-04 | 浙江大学 | Vehicle positioning method combining dead reckoning and multi-lane road network map |
| CN114222240A (en) * | 2021-10-29 | 2022-03-22 | 中国石油大学(华东) | Multi-source fusion positioning method based on particle filtering |
| CN114710745A (en) * | 2022-04-12 | 2022-07-05 | 电子科技大学 | Indoor positioning method with Bluetooth and PDR information deeply fused |
-
2016
- 2016-03-18 JP JP2016056139A patent/JP6653507B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815011A (en) * | 2019-04-10 | 2020-10-23 | 财付通支付科技有限公司 | Message sending method and device, computer equipment and storage medium |
| CN111815011B (en) * | 2019-04-10 | 2024-03-22 | 财付通支付科技有限公司 | Message sending method, device, computer equipment and storage medium |
| CN112747744A (en) * | 2020-12-22 | 2021-05-04 | 浙江大学 | Vehicle positioning method combining dead reckoning and multi-lane road network map |
| CN112747744B (en) * | 2020-12-22 | 2022-11-18 | 浙江大学 | Vehicle positioning method combining dead reckoning and multi-lane road network map |
| CN114222240A (en) * | 2021-10-29 | 2022-03-22 | 中国石油大学(华东) | Multi-source fusion positioning method based on particle filtering |
| CN114710745A (en) * | 2022-04-12 | 2022-07-05 | 电子科技大学 | Indoor positioning method with Bluetooth and PDR information deeply fused |
| CN114710745B (en) * | 2022-04-12 | 2023-04-18 | 电子科技大学 | Indoor positioning method with Bluetooth and PDR information deeply fused |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6653507B2 (en) | 2020-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11710322B2 (en) | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program | |
| KR101749017B1 (en) | Speed-up template matching using peripheral information | |
| KR101645613B1 (en) | Pose estimation based on peripheral information | |
| US8269643B2 (en) | Positioning/navigation system using identification tag and position/navigation method | |
| US8154616B2 (en) | Data processing apparatus and method, and recording medium | |
| JP2018163654A (en) | System and method for telecom inventory management | |
| JP6321570B2 (en) | Indoor position information positioning system and indoor position information positioning method | |
| CN104081433A (en) | Transformation between image and map coordinates | |
| JP6653507B2 (en) | Information terminal, position estimation method, and position estimation program | |
| TWI749532B (en) | Positioning method and positioning device, electronic equipment and computer readable storage medium | |
| EP3897003A1 (en) | Information display method and apparatus | |
| JP2011094992A (en) | Navigation device, navigation method and navigation program | |
| CN107193820B (en) | Position information acquisition method, device and equipment | |
| US12002237B2 (en) | Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system | |
| JP6165422B2 (en) | Information processing system, information processing device, server, terminal device, information processing method, and program | |
| US20220215576A1 (en) | Information processing device, information processing method, and computer program product | |
| JPWO2012133371A1 (en) | Imaging position and imaging direction estimation apparatus, imaging apparatus, imaging position and imaging direction estimation method, and program | |
| JP7001149B2 (en) | Data provision system and data collection system | |
| JP2011112364A (en) | Map information processing device, method, and program | |
| JPWO2016157802A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP2020013382A (en) | Information processing device, information processing method, and program | |
| JP6727032B2 (en) | Mobile terminal, self-position estimation system using the same, server and self-position estimation method | |
| Bacchewar et al. | Literature Survey: Indoor Navigation Using Augmented Reality | |
| TWI382150B (en) | Device and method for detecting object distance and computer program product thereof | |
| KR20220166015A (en) | Apparatus for visualizing the result of detecting pothole in aerial image based on deep-learning and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6653507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |