JP2022138733A - Location estimation system, location estimation method, location information management system, location information management method, and program - Google Patents
Location estimation system, location estimation method, location information management system, location information management method, and program Download PDFInfo
- Publication number
- JP2022138733A JP2022138733A JP2021038784A JP2021038784A JP2022138733A JP 2022138733 A JP2022138733 A JP 2022138733A JP 2021038784 A JP2021038784 A JP 2021038784A JP 2021038784 A JP2021038784 A JP 2021038784A JP 2022138733 A JP2022138733 A JP 2022138733A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- location
- position estimation
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000007726 management method Methods 0.000 title claims description 25
- 230000010354 integration Effects 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims description 39
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 43
- 238000012986 modification Methods 0.000 description 35
- 230000004048 modification Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Landscapes
- Position Fixing By Use Of Radio Waves (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、位置推定システム、位置推定方法、位置情報管理システム、位置情報管理方法及びプログラムに関し、より詳細には、人の位置を推定する位置推定システム、位置推定方法及びプログラム、並びに位置推定システム等によって推定された位置に関する情報を管理する位置情報管理システム、位置情報管理方法及びプログラムに関する。 TECHNICAL FIELD The present disclosure relates to a position estimation system, a position estimation method, a position information management system, a position information management method, and a program, and more specifically, a position estimation system, a position estimation method, a program, and a position estimation system for estimating the position of a person. The present invention relates to a position information management system, a position information management method, and a program for managing information related to positions estimated by the above.
特許文献1には、第1情報を取得する第1取得部と、第2情報を取得する第2取得部と、出力部とを備える識別システムが記載されている。第1情報は、携帯端末に割り当てられた識別情報及び携帯端末の位置に関する位置情報を含む情報であって、対象空間内の識別対象を識別するための情報である。位置情報は、携帯端末から受信する無線信号の受信信号強度に基づく情報である。第2情報は、対象空間の撮像画像に基づく情報であって、対象空間内の識別対象を識別するための情報である。出力部は、第1情報及び第2情報に基づく出力情報を出力する。
特許文献1の識別システムによれば、撮像画像に基づく識別情報を併用したことで、携帯端末に割り当てられた識別情報のみを用いる場合と比べて、人の識別の精度向上が図られる。
According to the identification system of
しかし、同上のシステムは、無線信号の受信信号強度に基づく位置情報を用いるため、人の位置推定の精度に改善の余地があった。 However, since the above system uses position information based on the received signal strength of radio signals, there is room for improvement in the accuracy of human position estimation.
本開示の目的は、人を対象とする位置推定の精度向上を図ることができる位置推定システム、位置推定方法及びプログラムを提供することである。また、本開示の目的は、位置推定システム等によって推定された位置に関する情報を的確に管理できる位置情報管理システム、位置情報管理方法及びプログラムを提供することである。 An object of the present disclosure is to provide a position estimation system, a position estimation method, and a program capable of improving the accuracy of position estimation for humans. Another object of the present disclosure is to provide a position information management system, a position information management method, and a program capable of accurately managing information regarding positions estimated by a position estimation system or the like.
本開示の一態様に係る位置推定システムは、第1位置推定部と、第2位置推定部と、統合部と、出力部とを備える。前記第1位置推定部は、人を上方から撮影した画像に基づいて前記人の体の少なくとも一部に対応すると推定される領域である推定領域の位置に関する1つ以上の第1位置情報を取得する。前記第2位置推定部は、無線受信部が受信した電波に関する情報である電波情報に基づいて前記人により携帯される携帯端末が存在すると推定される位置である推定位置に関する1つ以上の第2位置情報を当該携帯端末を特定する識別情報に対応付けて取得する。前記統合部は、前記第1位置情報と、前記第2位置情報及び前記識別情報とを関連付ける。前記出力部は、前記統合部が関連付けた情報を出力する。 A location estimation system according to an aspect of the present disclosure includes a first location estimation unit, a second location estimation unit, an integration unit, and an output unit. The first position estimating unit acquires one or more pieces of first positional information regarding the position of an estimated region, which is a region estimated to correspond to at least part of the body of the person, based on an image of the person photographed from above. do. The second position estimating unit includes one or more second position estimating units related to an estimated position, which is a position where the portable terminal carried by the person is estimated to exist based on radio wave information, which is information about radio waves received by the radio receiving unit. The location information is acquired in association with the identification information specifying the mobile terminal. The integration unit associates the first location information with the second location information and the identification information. The output unit outputs the information associated by the integration unit.
本開示の一態様に係る位置推定方法は、第1位置推定ステップと、第2位置推定ステップと、統合ステップと、出力ステップと含む。前記第1位置推定ステップでは、人を上方から撮影した画像に基づいて前記人の体の少なくとも一部に対応すると推定される領域である推定領域の位置に関する1つ以上の第1位置情報を取得する。前記第2位置推定ステップでは、無線受信部が受信した電波に関する情報である電波情報に基づいて前記人により携帯される携帯端末が存在すると推定される位置である推定位置に関する1つ以上の第2位置情報を当該携帯端末を特定する識別情報に対応付けて取得する。前記統合ステップでは、前記第1位置情報と、前記第2位置情報及び前記識別情報とを関連付ける。前記出力ステップでは、前記統合ステップで関連付けた情報を出力する。 A position estimation method according to an aspect of the present disclosure includes a first position estimation step, a second position estimation step, an integration step, and an output step. In the first position estimation step, obtaining one or more pieces of first position information regarding the position of an estimated region that is estimated to correspond to at least part of the person's body based on an image of the person photographed from above. do. In the second position estimation step, one or more second positions related to an estimated position, which is a position where the portable terminal carried by the person is estimated to exist, based on radio wave information, which is information about radio waves received by the radio receiving unit. The location information is acquired in association with the identification information specifying the mobile terminal. The integrating step associates the first location information with the second location information and the identification information. The output step outputs the information associated in the integration step.
本開示の一態様に係るプログラムは、前記位置推定方法をコンピュータに実行させるためのプログラムである。 A program according to one aspect of the present disclosure is a program for causing a computer to execute the position estimation method.
本開示の一態様に係る位置情報管理システムは、情報取得部と、処理部とを備える。情報取得部は、前記位置推定システムの前記出力部から出力された前記情報を取得する。前記処理部は、前記情報と、前記人を特定する人特定情報とを関連付ける。 A location information management system according to an aspect of the present disclosure includes an information acquisition unit and a processing unit. The information acquisition unit acquires the information output from the output unit of the position estimation system. The processing unit associates the information with person identification information that identifies the person.
本開示の一態様に係る位置情報管理方法は、情報取得ステップと、処理ステップとを備える。情報取得ステップでは、前記位置推定方法の前記出力ステップにより出力された前記情報を取得する。前記処理ステップでは、前記情報と、前記人を特定する人特定情報とを関連付ける。 A location information management method according to an aspect of the present disclosure includes an information acquisition step and a processing step. The information acquisition step acquires the information output by the output step of the position estimation method. In the processing step, the information is associated with person-identifying information that identifies the person.
本開示の一態様に係るプログラムは、前記位置情報管理方法をコンピュータシステムに実行させるためのプログラムである。 A program according to an aspect of the present disclosure is a program for causing a computer system to execute the location information management method.
本開示の位置推定システム、位置推定方法及びプログラムは、人を対象とする位置推定の精度向上を図ることができる、という効果がある。また、本開示の位置情報管理システム、位置情報管理方法及びプログラムは、位置推定システム等によって推定された位置に関する情報を的確に管理できるという効果がある。 The position estimation system, the position estimation method, and the program according to the present disclosure have the effect of being able to improve the accuracy of position estimation for humans. In addition, the position information management system, the position information management method, and the program of the present disclosure have the effect of being able to accurately manage information related to positions estimated by a position estimation system or the like.
以下の実施形態で説明する構成は本開示の一例にすぎない。本開示は、以下の実施形態に限定されず、本開示の効果を奏することができれば、設計等に応じて種々の変更が可能である。 The configurations described in the following embodiments are merely examples of the present disclosure. The present disclosure is not limited to the following embodiments, and various modifications can be made according to design and the like as long as the effects of the present disclosure can be achieved.
以下、本開示の実施形態について、図1-図8を用いて説明する。 Embodiments of the present disclosure will be described below with reference to FIGS. 1 to 8. FIG.
(1)位置推定システム
(1-1)概要
本開示の実施形態に係る位置推定システム100は、図1に示すように、位置推定装置1と、1つ以上の携帯端末2と、1つ以上の機器3と、カメラ4とを備える。位置推定装置1は、例えば、無線又は有線のLAN、インターネット、電話回線網などのネットワーク200を介して、機器3及びカメラ4の各々と通信可能に接続される。
(1) Location Estimation System (1-1) Overview As shown in FIG. 1, a
携帯端末2と機器3とは、電波を媒体とする無線通信が可能である。本実施形態における無線通信は、例えば、Bluetooth(登録商標)、無線LAN等の近距離無線通信であるが、数m-数十m先まで電波が到達する方式であれば、その種類は問わない。
The
携帯端末2は、図2に示すように、人(a,b,c・・・)によって携帯される。機器3は、携帯端末2を携帯した1人以上の人が存在しうる場所300に設けられる。カメラ4は、場所300を上方から撮影する。位置推定装置1は、カメラ4で撮影された画像、及び携帯端末2から送信された電波の機器3での受信強度に基づいて、場所300に存在する1人以上の人のそれぞれの位置を推定する。
The
上方とは、鉛直上方(真上)が好適であるが、斜め上方でもよい。斜め上方とは、例えば、鉛直上向きの線に対する角度が閾値以下となる向きであってもよい。閾値は、例えば、10度、15度等であるが、90度未満であれば数値は問わない。場所300を上方(特に真上)から撮影することで、撮影された画像での複数の人に対応する複数の領域(A,B,C・・・)の分離が容易になる。
"Upward" is preferably vertically upward (just above), but may be diagonally upward. The obliquely upward direction may be, for example, a direction in which the angle with respect to a vertically upward line is equal to or less than a threshold. The threshold is, for example, 10 degrees, 15 degrees, or the like, but any numerical value is acceptable as long as it is less than 90 degrees. By photographing the
(1-2)使用環境
なお、本実施形態における場所300は、部屋の内部(屋内)であるが、屋外の所定範囲でもよい。所定範囲は、例えば、広場、公園等であるが、携帯端末2からの電波の到達範囲でもよい。
(1-2) Usage Environment Note that the
また、場所300は、通常、空間(3次元)であるが、空間内の一の平面(2次元)でもよいし、平面上の一の線(1次元)でもよい。平面は、例えば、部屋の床であり、線は、例えば、床の上に一列に並べられた複数の座席(座席列)であってもよい。
Also, the
一般に、電波強度に基づく位置推定には、場所300が空間の場合は少なくとも3つ、平面の場合は少なくとも2つ、線の場合は少なくとも1つの機器3が必要である。従って、一の場所300に配置される機器3の個数は、3つ以上が好適であるが、2つ又は1つでもよい。
In general, position estimation based on radio field strength requires at least three devices 3 if the
場所300が部屋の場合、機器3は、例えば、天井に設けられるが、壁や床等、屋内のどこに設けられてもよい。場所300が屋外の場合、機器3は、例えば、街灯や監視カメラ等が取り付けられるポール、樹木など、どこに設けられてもよい。2つ以上の機器3を用いる場合、各機器3は異なる位置に分散して配置される。
When the
(1-3)カメラ
カメラ4は、場所300の上部に設けられる。場所300の上部とは、例えば、部屋の天井であり、好ましくは、天井の中央である。ただし、カメラ4は、場所300の全体又は略全体を上方から撮影可能であれば、その設置位置は問わない。
(1-3) Camera The
カメラ4は、レンズ41の光軸41aが鉛直下方を向くように設けられる。ただし、光軸41aの向きは、斜め下方でもよい。斜め下方とは、例えば、鉛直下方を向いた線に対する光軸41aの角度が閾値以下となる向きであってもよい。閾値は、例えば、10度、15度等であるが、90度未満であれば数値は問わない。
The
レンズ41は、ズームレンズが好適であるが、単焦点レンズでもよい。レンズ41は、ズーム可能な又は単焦点の魚眼レンズでもよいし、光軸の向きが異なる複数のレンズで構成された複眼レンズでもよく、そのタイプは問わない。
The
なお、一の場所300に設けられるカメラ4の個数は、本実施形態では1つであるが、2つ以上でもよい。
The number of
また、カメラ4は、変形例1で説明するように、機器3と一体(例えば、機器3の内蔵カメラ)でもよいし、変形例2,3で説明するように、位置推定装置1と一体(例えば、位置推定装置1の内蔵カメラ)であってもよい。
In addition, the
(1-4)機器
本実施形態における機器3は、位置検出専用のLPSセンサ等であるが、これに限らない。機器3は、ネットワーク通信及び無線通信の少なくとも一方を行えるものであれば、その機能は問わない。機器3は、例えば、温湿度センサや騒音センサ等の環境センサに、通信機能を付加したものでもよい。または、機器3は、例えば、無線LANアクセスポイントでもよいし、変形例4で説明するような、据え置き型のビーコンでもよい。なお、本実施形態でいうビーコンは、電波を送信する送信器である。
(1-4) Device The device 3 in this embodiment is an LPS sensor or the like dedicated to position detection, but is not limited to this. The device 3 may have any function as long as it can perform at least one of network communication and wireless communication. The device 3 may be, for example, an environmental sensor such as a temperature/humidity sensor or a noise sensor with a communication function added. Alternatively, the device 3 may be, for example, a wireless LAN access point or a stationary beacon as described in
機器3のメモリには、通常、機器特定情報が格納される。機器特定情報とは、機器3を特定する情報である。機器特定情報は、例えば、MACアドレス、携帯電話番号などであるが、MACアドレス等に対応付いたIDでもよく、機器3を特定し得る情報あれば何でもよい。 The memory of the device 3 normally stores device specific information. The device identification information is information that identifies the device 3 . The device identification information is, for example, a MAC address, a mobile phone number, etc., but may be an ID associated with a MAC address or the like, or any information that can identify the device 3 .
図1に示すように、機器3は、無線受信部52を備える。無線受信部52は、携帯端末2から送信される電波を受信する。
As shown in FIG. 1 , the device 3 has a
機器3は、無線受信部52が受信した識別情報に対応付けて、当該機器3のメモリに格納されている機器特定情報と当該機器3での電波強度とを、ネットワーク通信モジュール(図示しない)及びネットワーク200を介して位置推定装置1に送信する。
The device 3 associates the identification information received by the
(1-5)位置推定装置
位置推定装置1は、例えば、プロセッサ、メモリ及びネットワーク通信モジュール等を有するサーバ(ネットワーク通信機能を有するコンピュータシステム)によって実現される。プロセッサは、CPU、MPU、GPU、又はこれらを含むチップセットなどである。メモリは、プロセッサの内蔵メモリに限らず、ハードディスクやSSD等のストレージでも、メモリカードや光ディスク等の着脱可能な記録媒体でもよい。記録媒体は、非一時的記録媒体が好適であるが、一時的記録媒体でもよい。
(1-5) Position Estimating Device The
ネットワーク通信モジュールとは、ネットワーク200を介した通信を実現するモジュールである。ネットワーク200を介した通信は、有線通信でも無線通信でもよい。なお、位置推定装置1(サーバ)は、例えば、キーボードやタッチパネル等の入力デバイス、及びディスプレイやスピーカ等の出力デバイスも有することは好適である。
A network communication module is a module that realizes communication via the
位置推定装置1のメモリには、各種の情報及びプログラムが格納される。プロセッサは、メモリ内の各種の情報及びプログラムに基づいて、後述する処理部11が行う各種の処理を実現する。なお、このようなプロセッサ及びメモリを「コンピュータ」と呼んでもよい。また、位置推定装置1のメモリに格納される各種の情報及びプログラムについては、適時説明する。
Various information and programs are stored in the memory of the
(1-6)携帯端末
本実施形態における携帯端末2は、携帯型のビーコンによって実現され、メモリ及び無線通信モジュール等を有する。
(1-6) Mobile Terminal The
携帯端末2のメモリには、識別情報が格納される。識別情報は、例えば、端末を特定する端末特定情報(ID、MACアドレス、携帯電話番号等)である。なお、識別情報は、特定の人と関連付けられた人特定情報であってもよい。人特定情報とは、人を特定する情報である。人特定情報は、例えば、メールアドレス、携帯電話番号、氏名及び住所の組などであるが、メールアドレス等に対応付いたID(例えば“a”,“b”,“c”等)でもよく、人を特定し得る情報であれば何でもよい。
Identification information is stored in the memory of the
なお、本実施形態では、説明の簡単化のため“a”や“A”といった単一文字のIDを用いているが、通常、IDは、数字やアルファベット等の文字、各種記号などを複数個組み合わせた文字列であることは言うまでもない。 In this embodiment, a single character ID such as "a" or "A" is used for the sake of simplicity of explanation, but usually an ID is a combination of a plurality of numbers, letters such as alphabets, various symbols, and the like. Needless to say, it is a character string.
無線通信モジュールとは、無線通信を実現するモジュールである。なお、ネットワーク200を介した通信が無線LAN等の無線通信を含む場合、無線通信モジュールは、ネットワーク通信モジュールと兼用でもよい。
A wireless communication module is a module that implements wireless communication. Note that when communication via the
ただし、携帯端末2は、例えば、スマートフォンやタブレット端末等の携帯通信端末でもよく、人によって携帯され、識別情報を電波で送信し得る端末であれば、その種類は問わない。
However, the
図1に示すように、携帯端末2は、無線送信部51を備える。無線送信部51は、携帯端末2のメモリに格納されている人特定情報を、無線通信モジュール(図示しない)を介して電波で送信する。
As shown in FIG. 1 , the
(2)位置推定装置の詳細
図1に示すように、位置推定装置1は、処理部11と、出力部12とを備える。処理部11は、画像取得部111と、電波情報取得部112と、第1位置推定部113と、第2位置推定部114と、取得制御部115と、統合部116とを備える。
(2) Details of Position Estimating Device As shown in FIG. 1, the
処理部11は、各種の処理を行う。各種の処理とは、画像取得部111、電波情報取得部112、第1位置推定部113、第2位置推定部114、取得制御部115及び統合部116の処理(後述)である。また、処理部11は、フローチャートで説明する各種の判断も行う。ただし、各種の判断は、例えば、処理部11の構成要素(111-116)のうち、当該判断の結果を使用する要素が行ってもよい。
The
出力部12は、各種の情報を出力する。各種の情報には、統合部116が取得した統合情報(後述)が含まれる。
The
また、各種の情報には、例えば、画像取得部111、電波情報取得部112、第1位置推定部113及び第2位置推定部114の各々が取得した情報、及びメモリ内の情報なども含まれる。
Further, the various types of information include, for example, information acquired by each of the
なお、出力部12による出力は、例えば、ディスプレイへの表示、スピーカからの音声出力などであるが、メモリやその他の記録媒体への記録、他の装置(例えば、後述する携帯端末2、図示しない外部のサーバ等)への送信などでもよい。
Note that the output from the
画像取得部111は、1人以上の人(a,b,c・・・)が存在しうる場所300を上方から撮影した画像を取得する。場所300は、例えば、図2に示すように、部屋の内部(屋内)であるが、屋外の所定範囲(広場、公園等)でもよい。
The
なお、本実施形態における場所300は、通常、空間(3次元)である。ただし、場所300は、空間内の一の平面(2次元)でもよいし、平面上の一の線(1次元)でもよい。例えば、空間が、図2に示した場所300(部屋)の内部である場合、平面は、部屋の床(底面)であり、線は、床の上に一列に並べられた複数の座席(座席列:図示しない)でもよい。
Note that the
場所300には、1つ以上の機器3が設けられる。機器3は、場所300に存在する人(a,b,c・・・)が携帯している携帯端末2と電波を媒体とした無線通信が可能な機器3である。
A
なお、電波強度に基づく位置推定には、空間の場合は少なくとも3つ、平面の場合は少なくとも2つ、線の場合は少なくとも1つの機器3があることが好ましい。 For position estimation based on radio wave intensity, it is preferable that there are at least three devices 3 for space, at least two for planes, and at least one for lines.
電波情報取得部112は、電波情報を取得する。電波情報は、無線受信部52による電波の受信強度、及び当該電波を送信した携帯端末2の識別情報を有する。
The radio wave
なお、前述したように、識別情報は、携帯端末2のメモリに格納されている。これに加えて、複数の携帯端末2に対応する複数の識別情報が、位置推定装置1のメモリに格納されていてもよい。
In addition, as described above, the identification information is stored in the memory of the
なお、前述したように、識別情報は、人が携帯している携帯端末2を特定する端末特定情報である。その場合、位置推定装置1のメモリに、端末特定情報と人特定情報との対応に関する対応情報が格納される。
As described above, the identification information is terminal identification information that identifies the
電波情報は、通常、機器3を特定する機器特定情報も含む。電波情報は、例えば、端末特定情報又は人特定情報と、機器特定情報と受信強度との組(以下、組情報)とを含んでもよい。場所300に配置された機器3の個数がk個(kは自然数:以下同様)の場合、電波情報は、端末特定情報又は人特定情報と、k個の組情報とを含む。
The radio wave information usually also includes device identification information that identifies the device 3 . The radio wave information may include, for example, terminal identification information or person identification information, and a set of device identification information and reception intensity (hereinafter referred to as set information). When the number of devices 3 arranged at the
なお、本実施形態では、機器3が無線受信部52を有するが、変形例3で説明するように、位置推定装置1が無線受信部52を有していてもよいし、変形例4で説明するように、携帯端末2が無線受信部52を有していてもよい。
In this embodiment, the device 3 has the
電波情報取得部112は、本実施形態では、機器3からネットワーク200を介して電波情報を受信する。ただし、変形例4で説明するように、携帯端末2が電波情報受信部を有する場合、電波情報取得部112は、携帯端末2からネットワーク200を介して電波情報を受信する。または、変形例3で説明するように、電波情報受信部が位置推定装置1に内蔵されている場合、電波情報取得部112は、当該電波情報受信部から内部配線(図示しない)を介して電波情報を取得する。
The radio wave
第1位置推定部113は、画像取得部111が取得した画像に基づいて、1つ以上の第1位置情報を取得する。第1位置情報とは、推定領域(A,B,C・・・)の位置に関する情報である。推定領域(A,B,C・・・)とは、人(a,b,c・・・)の体の少なくとも一部に対応すると推定される領域である。
The first
人の体の少なくとも一部とは、通常、頭部であるが、頭部及び1つ以上の他の部位でもよい。他の部位は、例えば、肩、手、足等であるが、頭部以外のどの部位でもよい。 At least part of a person's body is typically the head, but may be the head and one or more other parts. Other parts are, for example, shoulders, hands, feet, etc., but may be any parts other than the head.
例えば、位置推定装置1のメモリに、人体情報が格納されている。人体情報とは、人の体に関する情報である。人体情報には、例えば、人体を上方から見たときの輪郭線の形状、当該輪郭線内の色分布などに関する情報が含まれている。第1位置推定部113は、メモリに格納されている人体情報を用いて、画像取得部111が取得した画像を基に第1位置情報を取得する。
For example, human body information is stored in the memory of the
または、位置推定装置1のメモリには、画像取得部111が過去に取得した画像が格納されており、第1位置推定部113は、画像取得部111が新たに取得した画像と、メモリに格納されている過去の画像との差分を基に、第1位置情報を取得してもよい。差分は、例えば、背景に関する背景差分、又はフレーム間の差分であるが、これらに限らない。
Alternatively, the memory of the
推定領域(A,B,C・・・)は、例えば、人の頭部に対応する円形の領域である。または、推定領域(A,B,C・・・)は、人の体の輪郭線でもよいし、輪郭線を囲む矩形の領域でもよい。 The estimated regions (A, B, C, . . . ) are, for example, circular regions corresponding to human heads. Alternatively, the estimated regions (A, B, C, . . . ) may be contour lines of the human body or rectangular regions surrounding the contour lines.
本実施形態における第1位置情報は、推定領域(A,B,C・・・)の座標である。推定領域(A,B,C・・・)の座標は、例えば、頭部に対応する円形領域の中心座標である。または、推定領域(A,B,C・・・)の座標は、人体の輪郭線の重心座標でもよいし、輪郭線を囲む矩形の領域の対角線の交点座標でもよい。第1位置情報は、座標に加えて、径(半径等)も含んでもよい。 The first position information in this embodiment is the coordinates of the estimated area (A, B, C...). The coordinates of the estimated area (A, B, C...) are, for example, the central coordinates of the circular area corresponding to the head. Alternatively, the coordinates of the estimated area (A, B, C, . The first position information may also include a diameter (radius, etc.) in addition to the coordinates.
ただし、第1位置情報は、推定領域の軌跡でもよい。推定領域の軌跡は、通常、推定領域の代表点(例えば、中心点、重心点等)の軌跡である。軌跡は、座標と時刻との対の集合で構成される。 However, the first position information may be the trajectory of the estimated area. The trajectory of the estimation area is usually the trajectory of the representative points (for example, the center point, the center of gravity, etc.) of the estimation area. A trajectory consists of a set of pairs of coordinates and times.
一般に、画像に基づく第1位置情報は、後述する第2位置情報と比べて精度が高い(誤差が少ない)。 In general, the first position information based on an image has higher accuracy (less error) than the second position information described later.
第1位置推定部113は、推定領域(A,B,C・・・)に関する第1位置情報を、通常、当該推定領域(A,B,C・・・)を識別する領域識別子(例えば“A”,“B”,“C”・・・)に対応付けて取得する。ただし、推定領域(A,B,C・・・)が1つだけの場合、領域識別子は取得されなくてもよい。
The first
第2位置推定部114は、電波情報に基づいて、人(a,b,c・・・)が存在すると推定される位置である推定位置に関する1つ以上の第2位置情報を、それぞれ人特定情報に対応付けて取得する。
Based on the radio wave information, the second
本実施形態における第2位置情報は、推定位置の座標である。ただし、第2位置情報は、推定位置の軌跡でもよい。 The second position information in this embodiment is the coordinates of the estimated position. However, the second position information may be the trajectory of the estimated position.
一般に、受信強度に基づく第2位置情報は、前述した第1位置情報と比べて精度が低い(誤差が大きい)。 In general, the second location information based on the reception intensity has lower accuracy (larger error) than the above-described first location information.
例えば、位置推定システム100のメモリ(本実施形態では位置推定装置1のメモリ)に、機器位置情報群が格納されている。ただし、機器位置情報群は、どこに格納されてもよい。機器位置情報群とは、1つ以上の機器位置情報の集合である。機器位置情報とは、機器3の位置を示す情報である。機器位置情報は、例えば、機器特定情報と、当該機器特定情報で特定される機器3の位置情報とを含む。
For example, the device position information group is stored in the memory of the position estimation system 100 (the memory of the
第2位置推定部114は、メモリに格納されている機器位置情報群を用いて、電波情報取得部112によって取得された電波情報が有する機器特定情報に対応する位置情報を取得する。そして、第2位置推定部114は、当該取得した位置情報と、当該取得された電波情報が有する電波強度とに基づいて、第2位置情報を取得する。
The second
例えば、図2に示すように、3つの機器3が配置された場所300に、3人の人(a,b,c)が存在する場合は、第1-第3の3つの電波情報が取得される。具体的には、当該3つの機器3の機器特定情報を“p”,“q”,“r”とし、人aの携帯端末2からの電波の当該3つの機器3での受信強度を“I1”,“I2”,“I3”とすると、人特定情報“a”と3つの組情報“(p,I1)”,“(q,I2)”,“(r,I3)”とを含む第1電波情報が取得される。
For example, as shown in FIG. 2, when three people (a, b, c) are present in a
また、人bの携帯端末2からの電波の当該3つの機器3での受信強度を“I4”,“I5”,“I6”とすると、人特定情報“b”と3つの組情報“(p,I4)”,“(q,I5)”及び“(r,I6)”とを含む第2電波情報が取得される。
Also, if the reception strengths of the radio waves from the
さらに、人cの携帯端末2からの電波の当該3つの機器3での受信強度を“I7”,“I8”,“I9”とすると、人特定情報“c”と3つの組情報“(p,I7)”,“(q,I8)”及び“(r,I9)”とを含む第3電波情報が取得される。
Furthermore, if the reception intensities of the radio waves from the
第2位置推定部114は、上記第1電波情報を用いて、人特定情報“a”で特定される人の第2位置情報“a(x1,y1)”を取得する。また、上記第2電波情報を用いて、人特定情報“b”で特定される人の第2位置情報“b(x2,y2)”が取得される。さらに、上記第3電波情報を用いて、人特定情報“c”で特定される人の第2位置情報“c(x3,y3)”が取得される。
The second
取得制御部115は、第1位置推定部113が取得した第1位置情報の個数である第1数(M)と、第2位置推定部114が取得した第2位置情報の個数である第2数(N)とが一致しない場合に、画像取得部111、電波情報取得部112、第1位置推定部113及び第2位置推定部114に再取得を行わせる。
画像の再取得では、カメラ4の撮影パラメータを前回取得時とは異ならせてもよい。撮影パラメータは、例えば、感度であるが、光学倍率、解像度(画素数)、コントラスト等でもよく、その種類は問わない。
In the reacquisition of the image, the photographing parameters of the
取得制御部115は、場所300のうち、後述する統合部116による関連付けが未だなされていない第2位置情報が示す位置及び当該位置の周辺の画像を、感度等の撮影パラメータを異ならせて再取得することは好適である。
The
このように、第1位置情報の取得数と第2位置情報の取得数と一致しない場合は、取得制御部115が他の各部(111-114及び116)に再取得を行わせることで、第1位置情報の誤検出の可能性を低減できる。
As described above, when the number of acquisitions of the first location information and the number of acquisitions of the second location information do not match, the
ただし、再取得は必須ではなく、位置推定装置1は取得制御部115を備えなくてもよい。
However, reacquisition is not essential, and the
統合部116は、第1位置推定部113が取得した1つ以上の第1位置情報のそれぞれに対し、1つ以上の第2位置情報のうち当該第1位置情報との間で予め決められた条件を満たす第2位置情報を関連付け、当該第1位置情報と、当該関連付けた第2位置情報に対応付いた人特定情報とを有する統合情報を取得する。
For each of the one or more pieces of first position information acquired by the first
予め決められた条件は、本実施形態では、第1位置情報と第2位置情報との間の距離に関する条件である。第1位置情報と第2位置情報との間の距離は、通常、第1位置情報が示す位置と、第2位置情報が示す位置との間の距離である。距離に関する条件は、例えば“距離が最短である”という条件である。 The predetermined condition is a condition regarding the distance between the first position information and the second position information in this embodiment. The distance between the first position information and the second position information is usually the distance between the position indicated by the first position information and the position indicated by the second position information. The condition regarding the distance is, for example, the condition that "the distance is the shortest".
ただし、第1位置情報及び第2位置情報の各々が軌跡である場合、予め決められた条件は、第1位置情報及び第2位置情報に対応する2つの軌跡の間の相関に関する条件でもよい。第1位置情報と第2位置情報との間の相関は、通常、第1位置情報が示す軌跡と、第2位置情報が示す軌跡との間の関係の強さである。軌跡に関する条件は、例えば“第1位置情報及び第2位置情報に対応する2つの軌跡の相関が最大である”という条件である。ここでの相関は、一の期間に対応する第1及び第2の2つの位置情報(2つの軌跡)の関係の強さであり、例えば相関係数である。なお、相関係数を求めるアルゴリズムは公知のものを用いることができるため、説明を省略する。2つの軌跡の形状が似ているほど、相関は大きくなる。 However, when each of the first position information and the second position information is a trajectory, the predetermined condition may be a condition regarding the correlation between the two trajectories corresponding to the first position information and the second position information. The correlation between the first position information and the second position information is generally the strength of the relationship between the trajectory indicated by the first position information and the trajectory indicated by the second position information. The condition regarding the trajectory is, for example, a condition that "the correlation between the two trajectories corresponding to the first position information and the second position information is maximum". The correlation here is the strength of the relationship between the first and second pieces of position information (two trajectories) corresponding to one period, and is, for example, a correlation coefficient. A well-known algorithm can be used for obtaining the correlation coefficient, so the explanation is omitted. The more similar the shapes of the two trajectories, the greater the correlation.
統合情報は、第1位置情報及び人特定情報に加えて、当該第1位置情報に関連付けた第2位置情報、及び当該第1位置情報に対応する推定領域情報も有していてもよい。推定領域情報とは、推定領域(A,B,C・・・)に関する情報である。推定領域情報は、例えば、カメラ4から取得した画像のうち、推定領域(A,B,C・・・)に含まれる画像であるが、推定領域(A,B,C・・・)の輪郭線もよい。 In addition to the first location information and the person identification information, the integrated information may also include second location information associated with the first location information and estimated region information corresponding to the first location information. The estimated area information is information about estimated areas (A, B, C, . . . ). The estimated region information is, for example, an image included in the estimated region (A, B, C, . Good lines too.
なお、統合情報は、例えば、処理部11のその他の処理結果を含んでもよいし、メモリに格納されている各種の情報を含んでもよく、そのデータ構造は問わない。
Note that the integrated information may include, for example, other processing results of the
または、推定領域情報は、輪郭線付き画像でもよい。輪郭線付き画像とは、カメラ4から取得した画像の上に推定領域(A,B,C・・・)の輪郭線を重ねた画像である。輪郭線付き画像は、1つ以上の輪郭線のそれぞれに対応付けて、人特定情報に対応する文字列(ID等)の画像を含んでいてもよい。
Alternatively, the estimated region information may be an image with contour lines. A contoured image is an image in which the contours of the estimated regions (A, B, C, . . . ) are superimposed on the image obtained from the
本実施形態における統合部116は、第1位置推定部113が取得した1つ以上の第1位置情報ごとに、当該第1位置情報と、第2位置推定部114が取得した1つ以上の第2位置情報のそれぞれとの距離を算出し、距離が最小の第2位置情報を当該第1位置情報に関連付け、統合情報を取得する。
The
ただし、統合部116は、取得された1つ以上の第1位置情報ごとに、当該第1位置情報と、取得された1つ以上の第2位置情報のそれぞれとの相関を算出し、相関が最大の第2位置情報を当該第1位置情報に関連付け、統合情報を取得してもよい。
However, the
出力部12は、統合部116が取得した1つ以上の統合情報(例えば“a(X1,Y1),b(X2,Y2)・・・”)を出力する。
The
なお、出力される統合情報は、画像取得部111が取得した画像、及び第1位置情報に対応付いた推定領域情報なども含んでいてもよい。詳しくは、出力部12は、例えば、画像取得部111が取得した画像の上に、第1点群と、第2点群と、当該第1点群及び当該第2点群のうち互いに関連付けられた点同士を繋ぐ1本以上の線L(1,1),L(2,2)・・・と、を重畳した画面を構成し、ディスプレイに表示してもよい。第1点群とは、第1位置推定部113が取得した1つ以上の第1位置情報A(X1,Y1),B(X2,Y2)・・・に対応する1つ以上の点である。第2点群とは、第2位置推定部114が取得した1つ以上の第2位置情報a(x1,y1),b(x2,y2)・・・に対応する1つ以上の点である。
Note that the integrated information to be output may also include the image acquired by the
さらに、上記画面は、第1位置情報に対応付いた推定領域(A,B,C・・・)に対応する1つ以上の輪郭線をも含んでいてもよい。これによって、図3-図5に示したような画面が、ディスプレイに表示される。 Furthermore, the screen may also include one or more outlines corresponding to the estimated areas (A, B, C, . . . ) associated with the first position information. As a result, screens such as those shown in FIGS. 3 to 5 are displayed on the display.
なお、例えば、キーボード等の入力デバイスを介して、各種の情報を出力する旨の指示が入力されてもよい。出力部12は、画像取得部111が取得した画像、電波情報取得部112が取得した電波情報、第1位置推定部113が取得した第1位置情報、及び第2位置推定部114が取得した第2位置情報のうち、入力された指示に対応する情報を、統合情報に含めて、又は個別に、出力してもよい。
For example, an instruction to output various information may be input via an input device such as a keyboard. The
統合部116は、第1位置推定部113が取得した第1位置情報の個数を計数し、その計数結果を示す第1数(M)を取得する。また、統合部116は、第2位置推定部114が取得した第2位置情報の個数を計数し、その計数結果を示す第2数(N)を取得して、第1数(M)及び第2数(N)の大小を判断する。
なお、ここでの統合部116の判断結果は、出力部12に引き渡される。ただし、出力部12自身が、同上の判断を行ってもよい。または、処理部11が同上の判断を行い、統合部116及び出力部12に判断結果を引き渡してもよい。
Note that the determination result of the
図2の場所300において、天井に設置されたカメラ4で室内を真上から撮影した画像に対し、当該画像に基づく第1位置情報、及び携帯端末2からの電波の機器3での受信強度に基づく第2位置情報との関係が、図3-図5に示される。
At a
通常は、例えば、図3に示すように、第1数及び第2数は互いに一致する(M=N)。 Usually, the first number and the second number match each other (M=N), for example as shown in FIG.
ただし、第1位置推定部113が人以外の対象を誤って人体と推定している場合には、図4に示すように、第1数(M)が第2数(N)よりも多くなる。人以外の対象とは、例えば、場所300に置かれたマネキン等の物品、人の手荷物などである。
However, when the
具体的には、例えば、図2において、右端の人(c)がマネキンである場合、その形状が人体と類似することから、第1位置推定部113は、マネキンに対応する推定領域Cを人に対応する推定領域と誤判断し、推定領域Cに対応する第1位置情報C(X3,Y3)を取得する。一方、マネキンは携帯端末2を携帯していないことから、第2位置推定部114によって第2位置情報が取得されることはない。
Specifically, for example, in FIG. 2, if the rightmost person (c) is a mannequin, the first
M>Nの場合、統合部116は、第1数と同数の統合情報を取得し、当該取得した第1数の統合情報のうち、当該統合情報が有する第1位置情報と、当該第1位置情報に関連付けられた第2位置情報との間の距離が大きい又は相関が小さい順に(M-N)個の統合情報を除外して、第2数と同数の統合情報を出力部12に引き渡す。
When M>N, integrating
なお、引き渡される統合情報の個数は、第2数より少ない数でもよい。つまり、除外される統合情報の個数は1つ以上であればよく、引き渡される統合情報の個数は、第2数を超えない数であればよい。 Note that the number of pieces of integrated information to be delivered may be less than the second number. That is, the number of integrated information items to be excluded should be one or more, and the number of integrated information items to be handed over should be a number that does not exceed the second number.
こうして、第1位置情報の取得数(第1数)が第2位置情報の取得数(第2数)よりも多い場合は、第2位置情報との距離が大きい又は相関が小さい第1位置情報を含む統合情報を順に除外して、統合情報の出力数を第2位置情報の取得数以下に絞り込むことで、人以外を対象とする第1位置情報の誤検出による精度低下の影響を抑制できる。 Thus, when the number of acquisitions of the first location information (first number) is greater than the number of acquisitions of the second location information (second number), the first location information having a large distance or a small correlation with the second location information By sequentially excluding integrated information containing .
なお、未関連付けの第1位置情報は、不特定対象の位置情報として管理されてもよい。不特定対象とは、いずれの人特定情報でも特定されない対象である。不特定対象は、例えば、携帯端末2を携帯していない人、又は人以外の対象である。
The unassociated first location information may be managed as unspecified location information. An unspecified target is a target that is not specified by any person-specifying information. An unspecified target is, for example, a person who does not carry the
第1数が第2数よりも多い場合、出力部12は、警告情報を出力する。
If the first number is greater than the second number, the
警告情報とは、いずれの人特定情報でも特定されない人の存在に関する情報である。警告情報は、例えば“携帯端末2を携帯していない人が入室した可能性があります”等の警告文であるが、警告を示すマーク、警告音、又はそれらの組み合わせであってもよい。
Alert information is information about the existence of a person who is not identified by any person identification information. The warning information is, for example, a warning text such as "a person who does not carry the
こうして警告情報を出力することで、特定不能の人の存在に対する対処が可能となる。 By outputting warning information in this way, it is possible to deal with the presence of an unidentifiable person.
第1数(M)が第2数(N)よりも少ない(M<Nである)場合、統合部116は、第1数と同数の統合情報を取得し、未関連付けの1以上の第2位置情報のそれぞれを、1つ以上の第1位置情報のうち当該第2位置情報との間の距離が最小又は相関が最大である第1位置情報に関連付けることにより、(N-M)個の統合情報を更に取得して、第2数と同数の統合情報を出力部12に引き渡す。
If the first number (M) is less than the second number (N) (M<N), the
ただし、更に取得する統合情報の個数は1つ以上でよく、引き渡す統合情報の個数は、第1数を超えかつ第2数を超えない数であってよい。つまり、M<Nである場合、統合部116は、1つ以上の統合情報を更に取得し、第1数を超えかつ第2数を超えない数の統合情報を出力部12に引き渡せばよい。
However, the number of pieces of integrated information to be further acquired may be one or more, and the number of pieces of integrated information to be handed over may be a number that exceeds the first number and does not exceed the second number. In other words, if M<N, the
具体的には、例えば、図2において、人b及び人cが接触している場合、当該2人の画像は分離されず、図5に示すように、一の推定領域Bに当該2人の画像が含まれる結果となる。このため、第1位置推定部113は、当該複数の人を1人と誤推定し、M=2となる。この場合、1つの第1位置情報に2つの第2位置情報が関連付けられる。一般には、複数の人が互いに接触している又は接触しているとみなしうるほど近接している場合、1つの第1位置情報に、当該接触又は近接している人数と同数の第2位置情報が関連付けられる。
Specifically, for example, when person b and person c are in contact in FIG. Resulting in an image. Therefore, the first
一方、第2位置推定部114は、人b及び人cが接触していても、当該2人に対応する2つの第2位置情報b(x2,y2)及びc(x3,y3)を取得できるため、N=3となる。
On the other hand, the second
従って、M<Nであるため、第1位置情報A(X1,Y1)と第2位置情報a(x1,y1)、及び第2位置情報B(X2,Y2)と第2位置情報b(x2,y2)、の関連付けを行った後、統合部(116)は、未関連付けの第2位置情報c(x3,y3)を、当該2つの第1位置情報A(X1,Y1)及びB(X2,Y2)のうち近い方(ここでは、B(X2,Y2))に、更に関連付ける。 Therefore, since M<N, the first location information A (X1, Y1) and the second location information a (x1, y1), and the second location information B (X2, Y2) and the second location information b (x2) , y2), the integrating unit (116) combines the unrelated second location information c(x3, y3) with the two first location information A(X1, Y1) and B(X2). , Y2) (here, B(X2, Y2)).
このように、複数の人が密接する場所300では、第1位置情報の個数(第1数)が第2位置情報の個数(第2数)よりも少なくなる場合がある。しかし、この場合は、未関連付けの第2位置情報に、当該第2位置情報との距離が小さい又は相関が大きい第1位置情報を順に関連付けて、統合情報の出力数を第1位置情報の取得数より多くかつ第2位置情報の取得数以下にすることで、第1位置情報の検出漏れによる精度低下の影響を抑制できる。
Thus, in the
統合部116は、第1位置情報及び人特定情報に加えて、当該第1位置情報に関連付けた第2位置情報、及び当該第1位置情報に対応する推定領域情報を更に有する統合情報を取得することは好適である。前述したように、推定領域情報とは、推定領域(A,B,C・・・)に関する情報であり、例えば、カメラ4から取得された画像のうち推定領域(A,B,C・・・)に含まれる画像、又は推定領域(A,B,C・・・)の輪郭線などである。
The
こうして、第1位置情報及び人特定情報に加えて、第2位置情報及び推定領域(A,B,C・・・)に関する情報も有する統合情報を取得し、出力することで、推定位置の確認を容易化できる。 In this way, in addition to the first position information and the person identification information, the second position information and the integrated information including the information regarding the estimated area (A, B, C . . . ) are obtained and output, thereby confirming the estimated position can facilitate
(3)位置推定システムの動作
次に、位置推定システム100の動作について、フローチャートを用いて説明する。なお、以下では、位置推定装置1を構成する各部の処理の流れ(構成要素間の連携)を中心に説明し、各部の詳細な動作説明は前述したので省略する。
(3) Operation of Position Estimating System Next, the operation of the
位置推定装置1の処理部11は、情報取得のタイミングか否かを判断する(ステップS1)。例えば、位置推定装置1のメモリに、タイミング情報が格納されている。タイミング情報とは、情報取得のタイミングに関するに情報である。タイミング情報は、通常、周期を示す情報(例えば“1秒ごと”等)であるが、時刻を示す情報の集合(例えば“0時0分0秒”,“0時0分1秒”・・・等)でもよい。取得の対象となる情報は、時刻、画像、電波情報、第1位置情報及び第2位置情報である。
The
処理部11は、例えば、プロセッサの内蔵時計又はNTPサーバ等から現在の時刻を取得し、当該格納されているタイミング情報及び当該取得した時刻を基に、情報取得タイミングか否かの判断を行う。
The
ステップS1で情報取得タイミングであると判断された場合、処理部11等は、上記各種の情報を取得する情報取得処理を実行する(ステップS2)。なお、ステップS2の情報取得処理については、図7を用いて説明する。
When it is determined that it is the information acquisition timing in step S1, the
ステップS1で情報取得タイミングでないと判断された場合、処理部11は、一の時間に対応する第1位置情報及び第2位置情報が各1つ以上取得されたか否かを判断する(ステップS3)。なお、一の時間とは、本実施形態では一の時刻(t)であるが、一の期間(開始時刻から終了時刻までの期間T)でもよい。
When it is determined in step S1 that it is not the information acquisition timing, the
処理部11は、ステップS2で取得された第1位置情報の個数を計数して変数Mにセットし、ステップS2で取得された第2位置情報の個数を計数して変数Nにセットする(ステップS4)。
The
処理部11は、変数Mと変数Nが同じ値(M=N)であるか否かを判断する(ステップS5)。
The
ステップS5でM=Nでないと判断された場合、取得制御部115は、回数が閾値以下(回数≦閾値)であるか否かを判断する(ステップS6)。例えば、メモリに、取得制御部115が連続して再取得を行った回数が保持されている。なお、回数の初期値は0である。
If M=N is not determined in step S5, the
ステップS6で回数≦閾値と判断された場合、取得制御部115は、回数をインクリメントし(ステップS7)、処理をステップS1に戻す。
If it is determined in step S6 that the number of times≦threshold, the
ステップS5でM=Nと判断されるか、又はステップS6で回数>閾値と判断された場合、取得制御部115は、回数を0にリセットする(ステップS8)。
If it is determined that M=N in step S5 or if the number of times>threshold in step S6, the
次に、統合部は、ステップS2で取得された情報の少なくとも一部を統合し、統合情報を取得する(ステップS9)。なお、ステップS9の統合処理については後述する。 Next, the integration unit integrates at least part of the information acquired in step S2 to acquire integrated information (step S9). Note that the integration processing in step S9 will be described later.
出力部12は、ステップS9で取得された統合情報を出力する(ステップS10)。その後、処理はステップS1に戻る。
The
ステップS2の情報取得処理は、例えば、図7のフローチャートに従って実行される。 The information acquisition process in step S2 is executed according to the flowchart of FIG. 7, for example.
処理部11は、内蔵時計等から現在の時刻を取得し、変数tにセットする(ステップS21)。
The
図示しないメモリには、カメラ4からの画像が時刻に対応付けて蓄積されており、画像取得部111は、時刻tにおける画像をメモリから取得する(ステップS22)。また、メモリには、無線受信部52での電波の電波強度が時刻に対応付けて格納されており、電波情報取得部112は、時刻tに対応する電波強度を基に、時刻tにおける電波情報を取得する(ステップS23)。
Images from the
第1位置推定部113は、ステップS22で取得された画像を基に、1つ以上の第1位置情報A(X1,Y1),B(X2,Y2)・・・を取得し、時刻tに対応付けてメモリに蓄積する(ステップS24)。ここで、“A”等は領域特定情報であり、“(X1,Y1)”等は画像に基づく座標(第1位置情報)である。
Based on the image acquired in step S22, the first
第2位置推定部114は、ステップS23で取得された電波情報を基に、1つ以上の第2位置情報a(x1,y1),b(x2,y2)・・・を取得し、時刻tに対応付けてメモリに蓄積する(ステップS25)。ここで、“a”等は人特定情報であり、“(x1,y1)”等は電波強度に基づく座標(第2位置情報)である。
The second
その後、処理は上位のフローチャート(図6)にリターンする。 After that, the process returns to the upper flow chart (FIG. 6).
これにより、メモリには、時刻tに対応付けて、1つ以上の第1位置情報A(X1,Y1),B(X2,Y2)・・・”と、1つ以上の第2位置情報a(x1,y1),b(x2,y2)・・・”とが格納される。そして、前述したタイミング情報が示す周期ごとに、上記と同様の処理が行われる結果、メモリには、1つ以上の推定領域(A,B,C・・・)に対応する1つ以上の軌跡と、1つ以上の推定位置(a,b・・・)に対応する1つ以上の軌跡とが格納される結果となる。 As a result, one or more pieces of first position information A(X1, Y1), B(X2, Y2) . . . ” and one or more pieces of second position information a (x1, y1), b(x2, y2) . . . ” are stored. Then, as a result of performing the same processing as above for each period indicated by the timing information described above, one or more trajectories corresponding to one or more estimation regions (A, B, C, . . . ) are stored in the memory. and one or more trajectories corresponding to one or more estimated positions (a, b . . . ) are stored.
ステップS9の統合処理は、例えば、図8のフローチャートに従って実行される。 The integration process in step S9 is performed according to the flowchart of FIG. 8, for example.
統合部116は、変数i及びjのそれぞれに初期値“1”をセットする(ステップS301)。次に、統合部116は、変数iの値が変数Mの値以下(i≦M)であるか否かを判断する(ステップS302)。
The
ステップS302でi≦Mであると判断した場合、統合部116は、変数jの値が変数Nの値以下(j≦N)であるか否かを判断する(ステップS303)。
When it is determined that i≤M in step S302, the
ステップS303でj≦Nであると判断された場合、統合部116は、i番目の第1位置情報距離とj番目の第2位置情報との間の距離を算出し、算出結果をα(i,j)にセットする(ステップS304)。なお、ここでのα(i,j)は、i番目の第1位置情報が示す点と、j番目の第2位置情報が示す点とを繋ぐ線分の長さを示す変数である。
If it is determined in step S303 that j≦N, the
そして、統合部116は、変数jをインクリメントする(ステップS305)。その後、処理はステップS303に戻る。
The
ステップS303でj≦Nでない(つまり、j>Nである)と判断された場合、統合部116は、ステップS304で取得されたN個の距離α(i,1)-α(i,N)を基に、i番目の第1位置情報との間で条件(例えば“距離が最小”)を満たす第2位置情報を選択し、i番目の第1位置情報に関連付ける(ステップS306)。
If it is determined in step S303 that j≦N is not true (that is, j>N),
次に、統合部116は、i番目の第1位置情報と人特定情報とを少なくとも有する統合情報a(X1,Y1),b(X2,Y2)・・・を取得する(ステップS307)。ステップS307で取得された統合情報は、メモリに格納される。
Next, the
そして、統合部116は、変数iをインクリメントする(ステップS308)。その後、処理はステップS302に戻る。
The integrating
ステップS302でi≦Mでない(つまり、i>Mである)と判断した場合、統合部116は、M>Nであるか否かを判断する(ステップS309)。
If it is determined in step S302 that i is not equal to or less than M (that is, i>M), the
ステップS309でM>Nであると判断した場合、統合部116は、メモリに格納されているM個の統合情報のうち、距離が大きいものから順に(M-N)個の統合情報を除外する(ステップS310)。なお、除外後に残ったN個の統合情報は、出力部12に引き渡され、前述したステップS10で出力される。出力部12は、警告情報を出力する(ステップS311)。その後、処理は上位のフローチャート(図6)にリターンする。
If it is determined that M>N in step S309, the
ステップS309でM>Nでないと判断した場合、統合部116は、M<Nであるか否かを更に判断する(ステップS312)。ステップS312でM<Nでない(従って、M=Nである)と判断された場合、処理は上位のフローチャート(図6)にリターンする。
If it is determined in step S309 that M>N is not satisfied, the
ステップS312でM<Nであると判断した場合、統合部116は、ステップS306で未だ関連付けがされていない(N-M)個の第2位置情報のそれぞれを、条件(例えば“距離が最小”)を満たす第1位置情報に関連付ける(ステップS313)。そして、統合部116は、(N-M)個の統合情報を更に取得する(ステップS314)。その後、処理は、上位のフローチャート(図6)にリターンする。
If it is determined in step S312 that M<N, the integrating
なお、第1位置情報距離及び第2位置情報が軌跡である場合、上記ステップS304では、i番目の第1位置情報距離とj番目の第2位置情報との間の相関が算出される。 When the first position information distance and the second position information are trajectories, the correlation between the i-th first position information distance and the j-th second position information is calculated in step S304.
なお、図8及び図9のフローチャートでは、同じ第2位置情報が複数の第1位置情報に重複して関連付けられる可能性があるが、このような「重複関連付け」は、例えば、次の方法により回避を図ることができる。すなわち、上記ステップS306で、統合部116は、i番目の第1位置情報に関連付けた第2位置情報に、関連付け済みを示すフラグを付しておき、次回以降のステップS306では、フラグが付されている第2位置情報を、関連付けの候補から除外してもよい。
In the flowcharts of FIGS. 8 and 9, there is a possibility that the same second location information is redundantly associated with a plurality of first location information. can be avoided. That is, in step S306 above, integrating
または、例えば、1番目からM番目までの全ての第1位置情報について、ステップS306の関連付けが行われた後(すなわち、ステップS302でNoの後)、統合部116は、重複関連付けが生じているか否かを判断する。そして、重複関連付けが生じている場合に、統合部116は、同じ第2位置情報が関連付けられている複数の第1位置情報のうち、優先順位が最も高い第1位置情報への関連付けを採用し、それ以外の第1位置情報への関連付けを解除してもよい。複数の第1位置情報の間の優先順位は、例えば、当該第2位置情報との距離が短い順でもよいし、図7のステップS24での初めての取得の時刻が早い順(つまり、当該複数の第1位置情報に対応する複数の人の、場所300への入場順)などでもよい。
Alternatively, for example, after the association in step S306 has been performed for all the first to M-th first position information (that is, after No in step S302), the
(4)変形例
以下、上記実施形態の変形例について、図10-図13を用いて説明する。
(4) Modifications Modifications of the above embodiment will be described below with reference to FIGS. 10 to 13. FIG.
(4-1)変形例1
変形例1における機器3は、図10に示すように、カメラ4を更に備える。従って、変形例1におけるカメラ4は、機器3の内蔵カメラである。
(4-1)
The device 3 in
ただし、カメラ4が機器3を含む(各種センサを有するセンサ付きカメラ)と考えてもよく、1つ以上の機器3のうち一の機器3とカメラ4とが一体化されていれば、その包含関係は問わない。
However, it may be considered that the
変形例1によれば、カメラ4が機器3とは別体である場合と比べ、システムを簡素化しつつ、位置推定の精度向上を図ることができる。
According to
(4-2)変形例2
変形例2における位置推定装置1は、図11に示すように、カメラ4を更に備える。従って、変形例2におけるカメラ4は、位置推定装置1の内蔵カメラである。
(4-2)
The
ただし、カメラ4が位置推定装置1を含むと考えてもよく、位置推定装置1とカメラ4とが一体化されていれば、その包含関係は問わない。
However, it may be considered that the
上記実施形態における位置推定装置1がサーバで実現されたのに対し、変形例2の位置推定装置1は、例えば、ネットワーク200に接続された別のサーバ(図示しない)のクライアントである。ただし、位置推定装置1は、スタンドアロンでもよい。
While the
画像取得部111は、位置推定装置1内のカメラ4から画像を取得する。
The
変形例2によれば、カメラと一体化した位置推定装置1を実現できる。
According to
(4-3)変形例3
変形例3における位置推定装置1は、変形例2の位置推定装置1において、図12に示すように、無線受信部52を更に備える。
(4-3) Modification 3
The
位置推定装置1内の無線受信部52は、機器3内の無線受信部52と同様、携帯端末2から送信される電波を受信する。なお、変形例3における位置推定システム100は、機器3を備えていなくてもよい。
The
電波情報取得部112は、少なくとも位置推定装置1内の無線受信部52が受信した電波を基に第2位置情報を取得する。
The radio wave
詳しくは、電波情報取得部112は、通常、位置推定装置1内の無線受信部52が受信した電波、及び2つ以上の機器3のそれぞれの無線受信部52が受信した電波の、計3つ以上の電波を基に、第2位置情報を取得する。
Specifically, the radio wave
ただし、電波情報取得部112は、位置推定装置1内の無線受信部52が受信した電波、及び一の機器3の無線受信部52が受信した電波の、計2つの電波を基に、第2位置情報を取得してもよい。
However, the radio wave
または、電波情報取得部112は、位置推定装置1内の無線受信部52が受信した電波のみを基に、第2位置情報を取得してもよい。
Alternatively, the radio wave
変形例3によれば、更にセンサ等の機器3とも一体化した位置推定装置1を実現できる。
According to Modification 3, the
なお、前述した実施形態及び変形例1-3では、機器3が無線受信部52を有しており(変形例3では、位置推定装置1自身も無線受信部52を有している)、携帯端末2から人特定情報が電波で送信され、機器3(及び位置推定装置1)の無線受信部52が当該電波を受信した。そして、機器3から位置推定装置1に、当該受信された人特定情報に対応付けて、当該機器3の機器特定情報と当該機器3での電波強度とがアップロードされた。
Note that in the above-described embodiment and modification 1-3, the device 3 has the wireless reception unit 52 (in modification 3, the
これに対して、後述する変形例4では、携帯端末2が無線受信部52を有しており、機器3から機器特定情報が電波で送信され、携帯端末2の無線受信部52が当該電波を受信する。そして、携帯端末2から位置推定装置1に、当該携帯端末2の人特定情報に対応付けて、当該受信された機器特定情報と当該携帯端末2での電波強度とがアップロードされる。
On the other hand, in Modified Example 4, which will be described later, the
つまり、機器3及び携帯端末2の一方が、機器3及び携帯端末2の他方から送信される電波を受信し、電波を受信した方が、人特定情報、機器特定情報及び電波強度を、位置推定装置1にネットワーク200を介して送信すればよい。
In other words, one of the device 3 and the
(4-4)変形例4
図13に示すように、変形例4の携帯端末2は、無線受信部52を備え、変形例4の機器3は、無線送信部51を備える。
(4-4)
As shown in FIG. 13 , the
変形例4の携帯端末2は、スマートフォンやタブレット端末等の携帯通信端末であり、実施形態の携帯端末2において、プロセッサ及びネットワーク通信モジュールを更に有する。機器3は、据え置き型のビーコンであり、実施形態の機器3からプロセッサ及びネットワーク通信モジュールを除いた構成を有する。なお、位置推定装置1は、上記実施形態と同様の構成でよい。
The
機器3の無線送信部51は、当該機器3のメモリに格納されている機器特定情報を電波で送信し、携帯端末2の無線受信部52が当該電波を受信する。携帯端末2は、当該受信された機器特定情報及び当該電波の受信強度を、当該携帯端末2のメモリに格納されている人特定情報に対応付けて、ネットワーク200経由で位置推定装置1に送信する。
The
変形例4によれば、人が元々携帯しているスマートフォン等の携帯通信端末を利用することで、専用の携帯型ビーコンを利用する場合と比べて、システムを簡素化しつつ、位置推定の精度向上を図ることができる。
According to
(4-5)その他の変形例
なお、位置推定システム100は、サーバの中の一部でもよい。つまり、位置推定システム100は、一のサーバで実現されてもよい。また、位置推定システム100が直接的に第1位置情報、第2位置情報及び識別情報を取得する必要はない。つまり、位置推定システム100は、外部のサーバ(図示しない)で取得された第1位置情報、第2位置情報及び識別情報を、ネットワーク200を介して取得してもよい。
(4-5) Other Modifications Note that the
このような最小構成に係る位置推定システム100は、例えば、本実施形態における位置推定装置1(図1参照)から、画像取得部111及び電波情報取得部112を除外したものであってもよい。この場合、外部のサーバは、本実施形態における位置推定装置1から除外された画像取得部111及び電波情報取得部112と、本実施形態における位置推定システム100が備える第1位置推定部113及び第2位置推定部114と同様の機能を有する第1外部位置推定部及び第2外部位置推定部(いずれも図示しない)と、を備える。
The
最小構成に係る位置推定システム100を構成する第1位置推定部113は、上記第1外部位置推定部によって取得された第1位置情報を、外部のサーバからネットワーク200を介して取得する。同様に、最小構成に係る位置推定システム100を構成する上記第2位置推定部114は、上記第2外部位置推定部によって取得された第2位置情報を、外部のサーバからネットワーク200を介して取得する。
The first
または、カメラ4が、撮影した画像を基に第1位置情報を取得し、位置推定システム100に送信してもよい。この場合、カメラ4は、本実施形態における位置推定システム100が備える第1位置推定部113と同様の機能を有するカメラ内第1位置推定部(図示しない)を備える。位置推定システム100の第1位置推定部113は、上記カメラ内第1位置推定部が取得した第1位置情報を、カメラ4からネットワーク200を介して又は無線通信により受信してもよい。
Alternatively, the
なお、位置推定システム100を構成する出力部12は、統合部116が取得した統合情報を、外部のサーバ(図示しない)に送信してもよい。統合情報の送信先となる外部のサーバは、例えば、ビルのテナント利用者等のサーバである。統合情報に含まれる識別情報は端末特定情報であり、外部のサーバのメモリに、端末特定情報と人特定情報との対応に関する対応情報が格納されている。メモリには、人特定情報に紐づいた各種の個人情報も格納されていてもよい。
Note that the
外部のサーバは、位置推定システム100から上記統合情報を受信し、当該統合情報に含まれる端末特定情報に対応する人特定情報を、上記対応情報を用いて取得する。また、外部のサーバは、当該取得した人特定情報に紐づいた個人情報を更に取得してもよい。
The external server receives the integrated information from the
こうして、位置推定システム100から外部のサーバへは、端末特定情報を含む統合情報を送信し、外部のサーバにおいて、当該端末特定情報に対応する人特定情報を取得することで、人特定情報又はこれに紐づいている個人情報の保護を図ることができる。
In this way, the
このような外部のサーバは、本開示の実施形態に係る位置情報管理システム(図示しない)の一態様であってもよい。位置情報管理システムは、情報取得部(図示しない)と、処理部(図示しない)とを備える。情報取得部は、上記実施形態における位置推定システム100の出力部12から出力(例えば送信)された情報(例えば統合情報)を取得(例えば受信)する。前記処理部は、前記情報と、人特定情報とを(例えば、端末特定情報と人特定情報との対応に関する対応情報を用いて)関連付ける。
Such an external server may be one aspect of a location information management system (not shown) according to an embodiment of the present disclosure. The location information management system includes an information acquisition section (not shown) and a processing section (not shown). The information acquisition unit acquires (eg, receives) information (eg, integrated information) output (eg, transmitted) from the
なお、上記実施形態に係る位置推定システム100と同様の機能は、位置推定方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。なお、位置推定方法は、上記各種ステップのうち、少なくとも、ステップS24(第1位置情報取得ステップ)、ステップS25(第2位置情報取得ステップ)、ステップS9(統合ステップ)及びステップS10(出力ステップ)を含む方法である。また、プログラムは、同上の位置推定方法をコンピュータに実行させるためのプログラムである。
Note that functions similar to those of the
また、上記位置情報管理システムと同様の機能は、位置情報管理方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。位置情報管理方法は、上記位置推定方法の出力ステップにより出力された統合情報を取得する統合情報取得ステップと、前記統合情報と人特定情報とを関連付ける処理ステップとを備える。プログラムは、前記位置情報管理方法をコンピュータシステムに実行させるためのプログラムである。 Also, the same functions as the location information management system may be embodied by a location information management method, a (computer) program, or a non-temporary recording medium recording the program. The location information management method includes an integrated information acquisition step of acquiring integrated information output by the output step of the location estimation method, and a processing step of associating the integrated information with person identification information. The program is a program for causing a computer system to execute the location information management method.
なお、本開示における位置推定システム100は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における位置推定システム100としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
Note that the
また、位置推定システム100における複数の機能が、1つの筐体内に集約されていることは位置推定システム100に必須の構成ではなく、位置推定システム100の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、位置推定システム100の少なくとも一部の機能、例えば、位置推定装置1の一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。同様に、位置推定装置1の複数の機能が1つの筐体内に集約される必要はなく、位置推定装置1の構成要素は、複数の装置に分散して設けられてもよい。
In addition, it is not an essential configuration of the
反対に、実施形態1において、複数の装置に分散されている位置推定システム100の少なくとも一部の機能が、1つの筐体内に集約されていてもよい。例えば、位置推定装置1と携帯端末2と機器3とカメラ4とに分散されている位置推定システム100の一部の機能が、1つの筐体内に集約されていてもよい。
Conversely, in
(5)まとめ
本開示の第1の態様は、第1位置推定部(113)と、第2位置推定部(114)と、統合部(116)と、出力部(12)とを備える位置推定システム(100)である。第1位置推定部(113)は、人(a,b,c・・・)を上方から撮影した画像に基づいて前記人(a,b,c・・・)の体の少なくとも一部に対応すると推定される領域である推定領域の位置に関する1つ以上の第1位置情報を取得する。第2位置推定部(114)は、無線受信部(52)が受信した電波に関する情報である電波情報に基づいて前記人(a,b,c・・・)により携帯される携帯端末(2)が存在すると推定される位置である推定位置に関する1つ以上の第2位置情報を当該携帯端末(2)を特定する識別情報に対応付けて取得する。統合部(116)は、前記第1位置情報と、前記第2位置情報及び前記識別情報とを関連付ける。出力部(12)は、統合部(116)が関連付けた情報を出力する。
(5) Summary A first aspect of the present disclosure is a position estimation unit comprising a first position estimation unit (113), a second position estimation unit (114), an integration unit (116), and an output unit (12). A system (100). A first position estimation unit (113) corresponds to at least part of the body of a person (a, b, c...) based on an image of the person (a, b, c...) photographed from above. Then, obtain one or more pieces of first position information about the position of the estimated area, which is the estimated area. A second position estimating unit (114) calculates a position of a portable terminal (2) carried by the person (a, b, c, . One or more pieces of second position information related to the estimated position, which is the position where the mobile terminal (2) is estimated to exist, are acquired in association with the identification information specifying the mobile terminal (2). An integration unit (116) associates the first location information with the second location information and the identification information. The output unit (12) outputs the information associated by the integration unit (116).
この態様によれば、画像に基づく第1位置情報と、受信強度に基づく第2位置情報及び識別情報とを関連付けることで、人を対象とする位置推定の精度向上を図ることができる。 According to this aspect, by associating the first position information based on the image with the second position information and identification information based on the reception intensity, it is possible to improve the accuracy of position estimation for a person.
なお、第1の態様において、位置推定システム(100)は、画像取得部(111)と、電波情報取得部(112)と、を更に備えていてもよい。画像取得部(111)は、人(a,b,c・・・)を上方から撮影した画像を取得する。画像取得部(111)は、例えば、前記人(a,b,c・・・)によって携帯され、当該人を特定する人特定情報が格納された1つ以上の携帯端末(2)と前記電波を媒体とした無線通信が可能な1つ以上の機器(3)が設けられた場所を上方から撮影した画像を取得する。電波情報取得部(112)は、無線受信部(52)が受信した電波に関する情報である電波情報を取得する。 In addition, in the first aspect, the position estimation system (100) may further include an image acquisition section (111) and a radio wave information acquisition section (112). An image acquisition unit (111) acquires an image of a person (a, b, c, . . . ) photographed from above. An image acquisition unit (111) is configured, for example, to combine one or more portable terminals (2) carried by the person (a, b, c, . acquires an image photographed from above of a place where one or more devices (3) capable of wireless communication using a medium are provided. A radio wave information acquisition unit (112) acquires radio wave information, which is information related to radio waves received by the radio reception unit (52).
第1位置推定部(113)は、画像取得部(111)が取得した画像に基づいて1つ以上の第1位置情報を取得する。第1位置推定部(113)は、例えば、前記画像に基づいて、前記推定領域の位置に関する1つ以上の第1位置情報を取得する。 A first position estimation unit (113) acquires one or more pieces of first position information based on the image acquired by the image acquisition unit (111). A first position estimator (113) acquires one or more pieces of first position information regarding the position of the estimated region, for example, based on the image.
第2位置推定部(114)は、電波情報取得部(112)が取得した電波情報に基づいて推定位置及び識別情報を取得する。第2位置推定部(114)は、例えば、前記電波情報に基づいて、前記推定位置に関する1つ以上の第2位置情報を、それぞれ前記人特定情報に対応付けて取得する。これにより、位置推定システム(100)が直接的に、第1位置情報、第2位置情報及び識別情報を取得できる。 A second position estimation unit (114) acquires an estimated position and identification information based on the radio wave information acquired by the radio wave information acquisition unit (112). A second position estimation unit (114) acquires one or more pieces of second position information related to the estimated position in association with the person identification information, for example, based on the radio wave information. This allows the position estimation system (100) to directly acquire the first position information, the second position information and the identification information.
第2の態様は、第1の態様において、前記無線受信部(52)は、携帯端末(2)又は機器(3)の無線受信部(52)である。前記電波情報は、前記識別情報と前記電波の受信強度とを有する。 A second aspect is the wireless receiving portion (52) of the mobile terminal (2) or the device (3) in the first aspect. The radio wave information includes the identification information and the received strength of the radio wave.
この態様によれば、識別情報と、携帯端末(2)又は機器(3)における受信強度とを有する電波情報を用いて、第2位置情報を取得できる。 According to this aspect, the second location information can be acquired using the radio wave information having the identification information and the reception intensity at the mobile terminal (2) or the device (3).
第3の態様は、第1又は第2の態様において、統合部(116)は、前記1つ以上の第1位置情報のそれぞれに対し、前記1つ以上の第2位置情報のうち当該第1位置情報との間で予め決められた条件を満たす第2位置情報を関連付け、当該第1位置情報と、当該関連付けた第2位置情報に対応付いた識別情報とを有する統合情報を取得する。出力部(12)は、統合部(116)が取得した1つ以上の前記統合情報を出力する。 A third aspect is the first or second aspect, wherein for each of the one or more first location information, the integration unit (116) selects the first location information among the one or more second location information. Position information is associated with second position information that satisfies a predetermined condition, and integrated information having the first position information and identification information associated with the associated second position information is acquired. The output unit (12) outputs one or more pieces of integrated information acquired by the integration unit (116).
この態様によれば、画像に基づく第1位置情報に、受信強度に基づく第2位置情報を関連付け、当該第1位置情報と、当該第2位置情報に対応付いている人特定情報とを有する統合情報を取得することで、1人以上の人を対象とする位置推定の精度向上を図ることができる。 According to this aspect, the first position information based on the image is associated with the second position information based on the reception intensity, and the integration having the first position information and the person identifying information associated with the second position information By acquiring information, it is possible to improve the accuracy of position estimation for one or more persons.
第4の態様は、第3の態様において、位置推定システム(100)は、取得制御部(115)をさらに備える。取得制御部(115)は、第1位置推定部(113)が取得した前記第1位置情報の個数である第1数と、第2位置推定部(114)が取得した前記第2位置情報の個数である第2数とが一致しない場合に、第1位置推定部(113)及び第2位置推定部(114)に再取得を行わせる。なお、再取得は、画像取得部(111)及び電波情報取得部(112)にも行わせてもよい。 A fourth aspect is the third aspect, wherein the position estimation system (100) further comprises an acquisition controller (115). An acquisition control unit (115) controls the number of the first location information acquired by the first location estimation unit (113) and the second location information acquired by the second location estimation unit (114). If the second number, which is the number, does not match, the first position estimator (113) and the second position estimator (114) are caused to reacquire. Note that the image acquisition unit (111) and the radio wave information acquisition unit (112) may also be caused to reacquire.
この態様によれば、第1位置情報の取得数と第2位置情報の取得数と一致しない場合は、各部に再取得を行わせることで、第1位置情報の誤検出の可能性を低減できる。 According to this aspect, when the number of acquisitions of the first location information and the number of acquisitions of the second location information do not match, each unit re-acquires the information, thereby reducing the possibility of erroneous detection of the first location information. .
第5の態様は、第3又は第4の態様において、前記予め決められた条件は、前記第1位置情報及び前記第2位置情報に対応する2つの位置の間の距離又は前記第1位置情報及び前記第2位置情報に対応する2つの軌跡の間の相関に関する条件である。第1位置推定部(113)が取得した前記第1位置情報の個数である第1数が、第2位置推定部(114)が取得した前記第2位置情報の個数である第2数よりも多い場合、統合部(116)は、前記第1数と同数の前記統合情報を取得する。そして、統合部(116)は、当該取得した前記第1数の前記統合情報のうち、当該統合情報が有する第1位置情報と、当該第1位置情報に関連付けられた第2位置情報との間の距離が大きい又は相関が小さい順に1つ以上の前記統合情報を除外して、前記第2数を超えない数の前記統合情報を出力部(12)に引き渡す。 A fifth aspect is the third or fourth aspect, wherein the predetermined condition is a distance between two positions corresponding to the first position information and the second position information or the first position information and a condition regarding the correlation between the two trajectories corresponding to the second position information. A first number, which is the number of the first position information acquired by the first position estimator (113), is larger than a second number, which is the number of the second position information acquired by the second position estimator (114) If there are many, the integration unit (116) acquires the same number of integrated information as the first number. Then, the integration unit (116) determines, from among the acquired first number of integrated information, the distance between the first location information included in the integrated information and the second location information associated with the first location information. One or more pieces of integrated information are excluded in order of increasing distance or correlation, and a number of pieces of integrated information not exceeding the second number are delivered to an output unit (12).
この態様によれば、第1位置情報の取得数(第1数)が第2位置情報の取得数(第2数)よりも多い場合は、第2位置情報との距離が大きい又は相関が小さい第1位置情報を含む統合情報を順に除外して、統合情報の出力数を第2位置情報の取得数以下に絞り込むことで、人以外を対象とする第1位置情報の誤検出による精度低下の影響を抑制できる。 According to this aspect, when the number of acquisitions of the first location information (first number) is greater than the number of acquisitions of the second location information (second number), the distance to the second location information is large or the correlation with the second location information is small. By sequentially excluding the integrated information including the first location information and narrowing down the number of outputs of the integrated information to the number of acquisitions of the second location information or less, it is possible to reduce accuracy deterioration due to misdetection of the first location information for non-human subjects. You can control the impact.
第6の態様は、第3-第5のいずれかの態様において、第1位置推定部(113)が取得した前記第1位置情報の個数である第1数が、第2位置推定部(114)が取得した前記第2位置情報の個数である第2数よりも多い場合、出力部(12)は、いずれの前記識別情報でも特定されない人の存在に関する警告情報を出力する。 A sixth aspect is that in any one of the third to fifth aspects, the first number, which is the number of the first position information acquired by the first position estimator (113), is equal to the second position estimator (114 ) is larger than the second number, which is the number of the acquired second position information, the output unit (12) outputs warning information regarding the presence of a person not identified by any of the identification information.
この態様によれば、第1数が第2数よりも多い場合は、警告情報を出力することで、特定不能の人の存在に対する対処が可能となる。 According to this aspect, when the first number is greater than the second number, by outputting warning information, it is possible to deal with the presence of an unidentifiable person.
第7の態様は、第3の態様において、前記予め決められた条件は、前記第1位置情報及び前記第2位置情報に対応する2つの位置の間の距離又は前記第1位置情報及び前記第2位置情報に対応する2つの軌跡の間の相関に関する条件である。第1位置推定部(113)が取得した前記第1位置情報の個数である第1数が、第2位置推定部(114)が取得した前記第2位置情報の個数である第2数よりも少ない場合、統合部(116)は、前記第1数と同数の前記統合情報を取得する。そして、統合部(116)は、未関連付けの1以上の第2位置情報のそれぞれを、前記1つ以上の第1位置情報のうち当該第2位置情報との間の距離が最小又は相関が最大である第1位置情報に関連付けることにより、1つ以上の前記統合情報を更に取得して、前記第1数を超えかつ前記第2数を超えない数の前記統合情報を出力部(12)に引き渡す。 In a seventh aspect based on the third aspect, the predetermined condition is a distance between two locations corresponding to the first location information and the second location information or a distance between the first location information and the second location information. It is a condition regarding the correlation between two trajectories corresponding to two position information. A first number, which is the number of the first position information acquired by the first position estimator (113), is larger than a second number, which is the number of the second position information acquired by the second position estimator (114) If the number is small, the integration unit (116) acquires the same number of integrated information as the first number. Then, the integrating unit (116) selects each of the one or more unrelated second location information as one having the smallest distance or the largest correlation with the second location information among the one or more first location information. by associating with the first location information, further acquiring one or more of the integrated information, and outputting a number of the integrated information that exceeds the first number and does not exceed the second number to an output unit (12) hand over.
この態様によれば、第1数が第2数よりも少ない場合は、未関連付けの第2位置情報に、当該第2位置情報との距離が小さい又は相関が大きい第1位置情報を順に関連付けて、統合情報の出力数を第1位置情報の取得数より多くかつ第2位置情報の取得数以下にすることで、第1位置情報の検出漏れによる精度低下の影響を抑制できる。 According to this aspect, when the first number is smaller than the second number, the unassociated second location information is associated in order with the first location information having a small distance or a large correlation with the second location information. By setting the number of integrated information outputs to be larger than the number of acquisitions of the first position information and equal to or less than the number of acquisitions of the second position information, it is possible to suppress the influence of deterioration in accuracy due to omission in detection of the first position information.
第8の態様は、第1又は第2の態様において、統合部(116)は、前記関連付けた第2位置情報、及び前記第1位置情報に対応する推定領域(A,B,C・・・)に関する情報を更に有する統合情報を取得する。 In an eighth aspect, in the first or second aspect, the integration unit (116) includes the associated second location information and estimated regions (A, B, C, . . . ) corresponding to the first location information. ) to obtain the integrated information, which further includes information about
この態様によれば、第1位置情報及び人特定情報に加えて、第2位置情報及び推定領域(A,B,C・・・)に関する情報も有する統合情報を取得し、出力することで、推定位置の確認を容易化できる。 According to this aspect, in addition to the first positional information and the person identifying information, by acquiring and outputting the integrated information including the second positional information and the information regarding the estimated area (A, B, C . . . ), Confirmation of the estimated position can be facilitated.
第9の態様は、第1-第8のいずれかの態様において、前記識別情報は、前記人(a,b,c・・・)を特定する人特定情報を含む。 According to a ninth aspect, in any one of the first to eighth aspects, the identification information includes person identification information that identifies the person (a, b, c, . . . ).
この態様によれば、識別情報として端末特定情報を用いる場合と比べて、位置推定の簡易化を図ることができる。なお、識別情報として端末特定情報を用いる場合は、個人情報の保護を図ることができる。 According to this aspect, position estimation can be simplified as compared with the case of using the terminal identification information as the identification information. In addition, when using terminal specific information as identification information, personal information can be protected.
第10の態様に係る位置推定方法は、第1位置推定ステップ(S24)と、第2位置推定ステップ(S25)と、統合ステップ(S9)と、出力ステップ(S10)と含む。第1位置推定ステップ(S24)では、人(a,b,c・・・)を上方から撮影した画像に基づいて前記人(a,b,c・・・)の体の少なくとも一部に対応すると推定される領域である推定領域の位置に関する1つ以上の第1位置情報を取得する。第2位置推定ステップ(S25)では、無線受信部(52)が受信した電波に関する情報である電波情報に基づいて前記人(a,b,c・・・)により携帯される携帯端末(2)が存在すると推定される位置である推定位置に関する1つ以上の第2位置情報を当該携帯端末(2)を特定する識別情報に対応付けて取得する。統合ステップ(S9)では、前記第1位置情報と、前記第2位置情報及び前記識別情報とを関連付ける。出力ステップ(S10)では、統合ステップ(S9)で関連付けた情報を出力する。 A position estimation method according to a tenth aspect includes a first position estimation step (S24), a second position estimation step (S25), an integration step (S9), and an output step (S10). In the first position estimation step (S24), at least a part of the body of the person (a, b, c, . Then, obtain one or more pieces of first position information about the position of the estimated area, which is the estimated area. In the second position estimation step (S25), the mobile terminal (2) carried by the person (a, b, c...) based on the radio wave information, which is the information about the radio waves received by the radio receiver (52) One or more pieces of second position information related to the estimated position, which is the position where the mobile terminal (2) is estimated to exist, are acquired in association with the identification information specifying the mobile terminal (2). In the integration step (S9), the first location information is associated with the second location information and the identification information. In the output step (S10), the information associated in the integration step (S9) is output.
この態様によれば、画像に基づく第1位置情報と、電波情報に基づく第2位置情報及び識別情報とを関連付けることで、人を対象とする位置推定の精度向上を図ることができる。 According to this aspect, by associating the first position information based on the image with the second position information and the identification information based on the radio wave information, it is possible to improve the accuracy of position estimation for a person.
第11の態様に係るプログラムは、第10の態様に係る位置推定方法をコンピュータに実行させるためのプログラムである。 A program according to an eleventh aspect is a program for causing a computer to execute the position estimation method according to the tenth aspect.
この態様によれば、人を対象とする位置推定の精度向上を図ることができる。 According to this aspect, it is possible to improve the accuracy of position estimation for a person.
第12の態様に係る位置情報管理システム(図示しない)は、情報取得部(図示しない)と、処理部(図示しない)とを備える。情報取得部は、第1-第8のいずれかの態様の位置推定システム(100)の前記出力部(12)から出力された前記情報を取得する。前記処理部は、前記情報と、前記人(a,b,c・・・)を特定する人特定情報とを関連付ける。 A location information management system (not shown) according to a twelfth aspect includes an information acquisition section (not shown) and a processing section (not shown). The information acquisition unit acquires the information output from the output unit (12) of the position estimation system (100) of any one of the first to eighth aspects. The processing unit associates the information with person identification information that identifies the person (a, b, c, . . . ).
この態様によれば、第1-第8のいずれかの態様の位置推定システム(100)によって推定された位置に関する情報を的確に管理できる。 According to this aspect, the information regarding the position estimated by the position estimation system (100) of any one of the first to eighth aspects can be managed accurately.
第13態様に係る位置情報管理方法は、情報取得ステップ(図示しない)と、処理ステップ(図示しない)とを備える。情報取得ステップでは、前記位置推定方法の前記出力ステップ(S10)により出力された前記情報を取得する。前記処理ステップでは、前記情報と、前記人(a,b,c・・・)を特定する人特定情報とを関連付ける。 A location information management method according to a thirteenth aspect includes an information acquisition step (not shown) and a processing step (not shown). The information acquisition step acquires the information output by the output step (S10) of the position estimation method. In the processing step, the information is associated with person-identifying information that identifies the person (a, b, c, . . . ).
この態様によれば、第10の態様位置推定方法によって推定された位置に関する情報を的確に管理できる。 According to this aspect, it is possible to accurately manage the information regarding the position estimated by the tenth aspect of the position estimation method.
第14態様に係るプログラムは、第13の態様の位置情報管理方法をコンピュータシステムに実行させるためのプログラムである。 A program according to a fourteenth aspect is a program for causing a computer system to execute the location information management method of the thirteenth aspect.
この態様によれば、第11の態様のプログラムによって推定された位置に関する情報を的確に管理できる。 According to this aspect, the information regarding the position estimated by the program of the eleventh aspect can be managed accurately.
1 位置推定装置
2 携帯端末
3 機器
4 カメラ
11 処理部
12 出力部
51 無線送信部
52 無線受信部
111 画像取得部
112 電波情報取得部
113 第1位置推定部
114 第2位置推定部
115 取得制御部
116 統合部
100 位置推定システム
200 ネットワーク
300 場所
A,B,C 推定領域
a,b,c 人
1
Claims (14)
無線受信部が受信した電波に関する情報である電波情報に基づいて前記人により携帯される携帯端末が存在すると推定される位置である推定位置に関する1つ以上の第2位置情報を当該携帯端末を特定する識別情報に対応付けて取得する第2位置推定部と、
前記第1位置情報と、前記第2位置情報及び前記識別情報とを関連付ける統合部と、
前記統合部が関連付けた情報を出力する出力部とを備える、
位置推定システム。 a first position estimation unit that obtains one or more pieces of first position information regarding the position of an estimated area that is estimated to correspond to at least part of the person's body based on an image of the person photographed from above;
Identifying one or more pieces of second location information related to an estimated location, which is a location where the mobile terminal carried by the person is estimated to exist, based on radio wave information, which is information about radio waves received by the wireless receiving unit a second position estimating unit that is acquired in association with the identification information that
an integration unit that associates the first location information, the second location information, and the identification information;
An output unit that outputs information associated by the integration unit,
Position estimation system.
前記電波情報は、前記識別情報と前記電波の受信強度とを有する、
請求項1に記載の位置推定システム。 The wireless receiving unit is a wireless receiving unit of the mobile terminal or device,
The radio wave information has the identification information and the reception strength of the radio wave,
The position estimation system of Claim 1.
前記出力部は、前記統合部が取得した1つ以上の前記統合情報を出力する、
請求項1または2に記載の位置推定システム。 The integration unit is configured to, for each of the one or more first location information, second location information that satisfies a predetermined condition with the first location information among the one or more second location information. and obtain integrated information having the first location information and identification information associated with the associated second location information,
the output unit outputs one or more pieces of the integrated information acquired by the integration unit;
The position estimation system according to claim 1 or 2.
請求項3に記載の位置推定システム。 When the first number that is the number of the first position information acquired by the first position estimation unit and the second number that is the number of the second position information acquired by the second position estimation unit do not match , further comprising an acquisition control unit that causes the first position estimation unit and the second position estimation unit to re-acquire,
A position estimation system according to claim 3 .
前記第1位置推定部が取得した前記第1位置情報の個数である第1数が、前記第2位置推定部が取得した前記第2位置情報の個数である第2数よりも多い場合、前記統合部は、前記第1数と同数の前記統合情報を取得し、当該取得した前記第1数の前記統合情報のうち、当該統合情報が有する第1位置情報と、当該第1位置情報に関連付けられた第2位置情報との間の距離が大きい又は相関が小さい順に1つ以上の前記統合情報を除外して、前記第2数を超えない数の前記統合情報を前記出力部に引き渡す、
請求項3又は4に記載の位置推定システム。 The predetermined condition is a distance between two positions corresponding to the first position information and the second position information or a distance between two trajectories corresponding to the first position information and the second position information. is a condition for correlation,
When the first number, which is the number of the first position information acquired by the first position estimation unit, is greater than the second number, which is the number of the second position information acquired by the second position estimation unit, the The integration unit acquires the same number of the integrated information as the first number, and associates the first location information included in the integrated information among the acquired first number of integrated information with the first location information. excluding one or more of the integrated information in order of increasing distance or decreasing correlation with the obtained second position information, and delivering a number of the integrated information that does not exceed the second number to the output unit;
The position estimation system according to claim 3 or 4.
請求項3-5のいずれか一項に記載の位置推定システム。 When the first number, which is the number of the first position information acquired by the first position estimation unit, is greater than the second number, which is the number of the second position information acquired by the second position estimation unit, the The output unit outputs warning information regarding the presence of a person not specified by any of the identification information.
A position estimation system according to any one of claims 3-5.
前記第1位置推定部が取得した前記第1位置情報の個数である第1数が、前記第2位置推定部が取得した前記第2位置情報の個数である第2数よりも少ない場合、前記統合部は、前記第1数と同数の前記統合情報を取得し、未関連付けの1以上の第2位置情報のそれぞれを、前記1つ以上の第1位置情報のうち当該第2位置情報との間の距離が最小又は相関が最大である第1位置情報に関連付けることにより、1つ以上の前記統合情報を更に取得して、前記第1数を超えかつ前記第2数を超えない数の前記統合情報を前記出力部に引き渡す、
請求項3に記載の位置推定システム。 The predetermined condition is a distance between two positions corresponding to the first position information and the second position information or a distance between two trajectories corresponding to the first position information and the second position information. is a condition for correlation,
When the first number, which is the number of the first position information acquired by the first position estimation unit, is smaller than the second number, which is the number of the second position information acquired by the second position estimation unit, the The integration unit acquires the same number of integrated information as the first number, and each of the unrelated one or more pieces of second location information is combined with the second location information among the one or more pieces of first location information. Further obtaining one or more of the integrated information by associating with the first location information having the smallest distance or the largest correlation between the delivering integration information to the output unit;
A position estimation system according to claim 3 .
請求項1又は2に記載の位置推定システム。 The integration unit acquires integrated information further including information about the estimated area corresponding to the associated second location information and the first location information.
The position estimation system according to claim 1 or 2.
請求項1-8のいずれか1項に記載の位置推定システム。 The identification information includes person-specific information that identifies the person,
A position estimation system according to any one of claims 1-8.
無線受信部が受信した電波に関する情報である電波情報に基づいて前記人により携帯される携帯端末が存在すると推定される位置である推定位置に関する1つ以上の第2位置情報を当該携帯端末を特定する識別情報に対応付けて取得する第2位置推定ステップと、
前記第1位置情報と、前記第2位置情報及び前記識別情報とを関連付ける統合ステップと、
前記統合ステップで関連付けた情報を出力する出力ステップとを含む、
位置推定方法。 a first position estimation step of acquiring one or more pieces of first position information regarding the position of an estimated region, which is a region estimated to correspond to at least part of the body of the person, based on an image of the person photographed from above;
Identifying one or more pieces of second location information related to an estimated location, which is a location where the mobile terminal carried by the person is estimated to exist, based on radio wave information, which is information about radio waves received by the wireless receiving unit a second position estimation step that is acquired in association with the identification information that
an integration step of associating the first location information with the second location information and the identification information;
and an output step of outputting the information associated in the integration step,
Location estimation method.
プログラム。 A program for causing a computer system to execute the position estimation method according to claim 10.
前記情報と、前記人を特定する人特定情報とを関連付ける処理部とを備える、
位置情報管理システム。 an information acquisition unit that acquires the information output from the output unit of the position estimation system according to any one of claims 1 to 8;
A processing unit that associates the information with person-identifying information that identifies the person,
Location information management system.
前記情報と、前記人を特定する人特定情報とを関連付ける処理ステップと、を備える
位置情報管理方法。 an information acquisition step of acquiring the information output by the output step of the position estimation method according to claim 10;
A location information management method, comprising: a processing step of associating the information with person-identifying information that identifies the person.
プログラム。 A program for causing a computer system to execute the location information management method according to claim 13.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038784A JP7457948B2 (en) | 2021-03-10 | 2021-03-10 | Location estimation system, location estimation method, location information management system, location information management method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038784A JP7457948B2 (en) | 2021-03-10 | 2021-03-10 | Location estimation system, location estimation method, location information management system, location information management method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022138733A true JP2022138733A (en) | 2022-09-26 |
JP7457948B2 JP7457948B2 (en) | 2024-03-29 |
Family
ID=83400201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021038784A Active JP7457948B2 (en) | 2021-03-10 | 2021-03-10 | Location estimation system, location estimation method, location information management system, location information management method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7457948B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006127240A (en) * | 2004-10-29 | 2006-05-18 | Secom Co Ltd | Suspicious person detection system and suspicious person detection program |
JP2007257122A (en) * | 2006-03-22 | 2007-10-04 | Hitachi Kokusai Electric Inc | Monitoring system |
JP2008016042A (en) * | 2002-03-26 | 2008-01-24 | Toshiba Corp | Monitoring system, device, and method |
WO2010095437A1 (en) * | 2009-02-19 | 2010-08-26 | パナソニック株式会社 | System for estimating object position, device for estimating object position, method for estimating object position, and program for estimating object position |
JP2017107420A (en) * | 2015-12-10 | 2017-06-15 | 株式会社竹中工務店 | Image display system and image display program |
JP2019200535A (en) * | 2018-05-15 | 2019-11-21 | Popchat株式会社 | Movement information utilization apparatus and movement information utilization method |
US20200206930A1 (en) * | 2018-12-27 | 2020-07-02 | Sun Hst Co., Ltd. | Accident monitoring system using uwb-based real-time positioning |
JP2020102817A (en) * | 2018-12-25 | 2020-07-02 | 凸版印刷株式会社 | Monitor target identification apparatus, monitor target identification system, and monitor target identification method |
US20210004606A1 (en) * | 2018-03-27 | 2021-01-07 | Flir Systems, Inc. | People counting and tracking systems and methods |
-
2021
- 2021-03-10 JP JP2021038784A patent/JP7457948B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008016042A (en) * | 2002-03-26 | 2008-01-24 | Toshiba Corp | Monitoring system, device, and method |
JP2006127240A (en) * | 2004-10-29 | 2006-05-18 | Secom Co Ltd | Suspicious person detection system and suspicious person detection program |
JP2007257122A (en) * | 2006-03-22 | 2007-10-04 | Hitachi Kokusai Electric Inc | Monitoring system |
WO2010095437A1 (en) * | 2009-02-19 | 2010-08-26 | パナソニック株式会社 | System for estimating object position, device for estimating object position, method for estimating object position, and program for estimating object position |
JP2017107420A (en) * | 2015-12-10 | 2017-06-15 | 株式会社竹中工務店 | Image display system and image display program |
US20210004606A1 (en) * | 2018-03-27 | 2021-01-07 | Flir Systems, Inc. | People counting and tracking systems and methods |
JP2019200535A (en) * | 2018-05-15 | 2019-11-21 | Popchat株式会社 | Movement information utilization apparatus and movement information utilization method |
JP2020102817A (en) * | 2018-12-25 | 2020-07-02 | 凸版印刷株式会社 | Monitor target identification apparatus, monitor target identification system, and monitor target identification method |
US20200206930A1 (en) * | 2018-12-27 | 2020-07-02 | Sun Hst Co., Ltd. | Accident monitoring system using uwb-based real-time positioning |
Also Published As
Publication number | Publication date |
---|---|
JP7457948B2 (en) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5873864B2 (en) | Object tracking and recognition method and apparatus | |
CN106461789B (en) | For crossing over the system and technology that are controlled based on geography fence | |
RU2533628C2 (en) | Information processing device, information processing method and programme | |
CN111182453A (en) | Positioning method, positioning device, electronic equipment and storage medium | |
JP2013251800A (en) | Information processing apparatus, information processing method, and program | |
JP2007219948A (en) | User abnormality detection equipment and user abnormality detection method | |
CN104661300B (en) | Localization method, device, system and mobile terminal | |
US20190222630A1 (en) | IOT Interaction System | |
CN110689580B (en) | Multi-camera calibration method and device | |
US11593635B2 (en) | Information processing device, method of processing information, and method of providing information | |
JP7192764B2 (en) | Information processing device, information processing method, and program | |
CN111126697A (en) | Personnel situation prediction method, device, equipment and storage medium | |
EP3750141A1 (en) | Alerts of mixed reality devices | |
CN107193820B (en) | Position information acquisition method, device and equipment | |
EP3068128A1 (en) | Information processing device, information processing method, and information processing system | |
JP2022138733A (en) | Location estimation system, location estimation method, location information management system, location information management method, and program | |
CN110008671B (en) | Data verification method and device | |
CN111982293B (en) | Body temperature measuring method and device, electronic equipment and storage medium | |
JP5801690B2 (en) | Image processing apparatus and image processing method | |
JP2016192096A (en) | Object recognition and selection device, object recognition and selection method, and program | |
Braun et al. | Low-cost indoor localization using cameras–evaluating ambitrack and its applications in ambient assisted living | |
WO2022201682A1 (en) | Position detection system, position detection method, and program | |
CN115209032B (en) | Image acquisition method and device based on cleaning robot, electronic equipment and medium | |
CN110913126B (en) | Shooting range calculation method and device and related equipment | |
US20230394830A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240301 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7457948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |