JP7384199B2 - 位置推定システム、位置推定方法、プログラム、及び記録媒体 - Google Patents

位置推定システム、位置推定方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP7384199B2
JP7384199B2 JP2021519369A JP2021519369A JP7384199B2 JP 7384199 B2 JP7384199 B2 JP 7384199B2 JP 2021519369 A JP2021519369 A JP 2021519369A JP 2021519369 A JP2021519369 A JP 2021519369A JP 7384199 B2 JP7384199 B2 JP 7384199B2
Authority
JP
Japan
Prior art keywords
information
position information
accuracy
position estimation
weighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021519369A
Other languages
English (en)
Other versions
JPWO2020230645A1 (ja
JPWO2020230645A5 (ja
Inventor
俊樹 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020230645A1 publication Critical patent/JPWO2020230645A1/ja
Publication of JPWO2020230645A5 publication Critical patent/JPWO2020230645A5/ja
Application granted granted Critical
Publication of JP7384199B2 publication Critical patent/JP7384199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257Hybrid positioning
    • G01S5/0263Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G01S5/0264Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems at least one of the systems being a non-radio wave positioning system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0278Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves involving statistical or probabilistic considerations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205Details
    • G01S5/021Calibration, monitoring or correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205Details
    • G01S5/0244Accuracy or reliability of position solution or of measurements contributing thereto
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、例えばカメラや電波センサなど複数のセンサを用いて推定される位置情報等を連携させて高精度化する、複数の位置情報の統合(センサフュージョン)を行う位置推定システム、位置推定方法、プログラム、及び記録媒体に関する。
従来、カメラやレーダー、電波センサ、音響センサなどの各種のセンサを用いて、対象物体(人も含む)や無線端末を検知及び識別し、当該物体や端末の位置を推定したり追跡したりするシステムが提案されている。
また、近年では、各種センサで取得した位置情報や識別情報などを統合することで、個別センサの長所短所を補完して、一部センサにおける死角も含めて対象物を追跡可能にする、複数センサ間の統合連携システム(センサフュージョン)も提案されている。
各種センサで検知した対象物の位置情報や識別情報を統合して高精度化するためには、それぞれのセンサで検知した対象物のうち、どの対象物とどの対象物が同じであるかを判定すること、対象物同士の対応付け(紐付け、名寄せ、同定、マッチング)が重要である。対応付けが正しく行われると、当該対象物に関する複数センサ間の情報を統合して高精度化していくことが可能となる。一方で、対応付けを誤ってしまうと、異なる対象物を1つの対象物と判断してしまい、誤検知や精度低下の原因となる。したがって、複数センサ間で検知した対象物間における対応付け処理は、複数センサ間の統合連携システム(センサフュージョン)において重要な処理となる。
また、任意のセンサ(例えば電波センサ)単体による対象物の位置推定精度を向上させる方法として、他のセンサ(例えばカメラ)による対象物の位置推定結果等を用いて、当該センサ(電波センサ)による位置推定処理の際に用いるパラメータの学習および更新を行うことにより、当該センサの位置推定精度を向上する手法も提案されている。
例えば、非特許文献1には、カメラでターゲットを識別し、その位置推定結果を基に無線ベースの位置推定パラメータを学習する方法が記載されている。これは、カメラの死角が無線ベースの位置推定で補完できる関係に着目して、画像に比べて無線による位置推定精度が低いという課題を改善するものである。
また、特許文献1には、人物と端末装置との対応を自動的に認識する装置が記載されている。具体的に、特許文献2には、カメラで検知した人物の位置と、電波センサで検知した携帯端末の位置とを比較して、距離が閾値以下の場合に当該人物と端末装置とを対応付ける。これにより、カメラの画角内に複数の対象が存在した場合でも、端末装置とその保有人物を対応付けすることができるようになる。
また、特許文献2には、検出された物体と物体IDとをアソシエーション手段(109)で対応付ける際に、観測値と予測分布とから求められる事後分布の分散を重み付け値として用いることが記載されている。
さらに、特許文献3には、カメラの情報を基に校正パラメータの学習を行うことが記載されている。
特開2009-284442号公報 国際公開2010/095437号 特表2018-515825号公報
谷口 健太郎、外2名、"屋内環境における無線と画像を連携させた位置推定システムの検討"、IEICE Technical Report、CQ2018-28、2018年6月
しかしながら、非特許文献1に記載された技術において、カメラで見えている対象物の位置情報をそのまま正解値として用いると、逆に位置推定精度が劣化する場合があるという問題がある。位置推定精度が劣化する理由として、例えば2つの要因が考えられる。1つ目の要因は、カメラの画角内に複数ターゲットが存在する時、誤ったターゲットの位置を正解値として返してしまう場合があることである。2つ目の要因は、カメラからの距離が遠いエリアなど場所等に依存してカメラによる位置推定誤差の方が大きい場合があることである。
また、特許文献1に記載された技術において、距離計算に一般的なユークリッド距離を使用し、比較のための閾値に固定的な値を設定している場合には、双方のセンサの位置推定精度に依存して、誤対応が発生したり、対応付けができなかったりという問題が生じる。具体的には、比較的小さな閾値を設定した場合には真の対象が対応付け候補から外れて誤対応する可能性が高くなり、比較的大きな閾値を設定した場合には、複数の対象が対応付け候補となり、なかなか対応付けできない状況になる可能性が高くなる。
また、特許文献2に記載された技術では、観測値と予測分布とから求められる事後分布の分散が、アソシエーション手段(109)で行われる処理の重みとして用いられるだけで、上述したセンサの位置推定精度に関する考慮がなされていなかった。
さらに、特許文献3に記載された技術では、全て単一センサであるカメラ内やカメラ間の情報を基に、校正パラメータの学習及び決定を行うだけで、上述したセンサの位置推定精度に関する考慮がなされていなかった。
本発明の目的は、精度良く位置情報を推定することが可能な位置推定システム、位置推定方法、プログラム、及び記録媒体を提供することにある。
本発明の一態様によれば、位置推定システムは、対象物に関する第1の位置情報を推定する第1の位置推定部と、対象物に関する第2の位置情報を推定する第2の位置推定部と、上記第1の位置情報と上記第2の位置情報とに基づいて、上記第1の位置情報により位置が推定される対象物と上記第2の位置情報により位置が推定される対象物との対応付けを判定する対応付け判定部と、上記第2の位置情報の確度情報と上記対応付けの判定結果に基づいて、対象物の正解位置情報と、上記正解位置情報の重み付け情報を算出する重み算出部と、上記正解位置情報と上記重み付け情報とに基づいて、上記第1の位置情報を推定するためのパラメータを更新するパラメータ更新部と、を備える。
本発明の一態様によれば、位置推定方法は、対象物に関する第1の位置情報を推定することと、対象物に関する第2の位置情報を推定することと、上記第1の位置情報と上記第2の位置情報とに基づいて、上記第1の位置情報により位置が推定される対象物と上記第2の位置情報により位置が推定される対象物との対応付けを判定することと、上記第2の位置情報の確度情報と上記対応付けの判定結果に基づいて、対象物の正解位置情報と、上記正解位置情報の重み付け情報を算出することと、上記正解位置情報と上記重み付け情報とに基づいて、上記第1の位置情報を推定するためのパラメータを更新することと、を含む。
本発明の一態様によれば、プログラムは、対象物に関する第1の位置情報を推定することと、対象物に関する第2の位置情報を推定することと、上記第1の位置情報と上記第2の位置情報とに基づいて、上記第1の位置情報により位置が推定される対象物と上記第2の位置情報により位置が推定される対象物との対応付けを判定することと、上記第2の位置情報の確度情報と上記対応付けの判定結果に基づいて、対象物の正解位置情報と、上記正解位置情報の重み付け情報を算出することと、上記正解位置情報と上記重み付け情報とに基づいて、上記第1の位置情報を推定するためのパラメータを更新することと、をプロセッサに実行させる。
本発明の一態様によれば、記録媒体は、対象物に関する第1の位置情報を推定することと、対象物に関する第2の位置情報を推定することと、上記第1の位置情報と上記第2の位置情報とに基づいて、上記第1の位置情報により位置が推定される対象物と上記第2の位置情報により位置が推定される対象物との対応付けを判定することと、上記第2の位置情報の確度情報と上記対応付けの判定結果に基づいて、対象物の正解位置情報と、上記正解位置情報の重み付け情報を算出することと、上記正解位置情報と上記重み付け情報とに基づいて、上記第1の位置情報を推定するためのパラメータを更新することと、をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体である。
本発明によれば、精度良く位置情報を推定することが可能になる。なお、本発明により、当該効果の代わりに、又は当該効果とともに、他の効果が奏されてもよい。
図1は、第1の実施形態である位置推定システム100の全体構成を示す図である。 図2は、第1の実施形態における位置推定システム100の動作フローを示す図である。 図3は、各種センサごとの位置推定処理における確率分布の例を示す図である。 図4は、図3に示した各種センサごとの位置推定処理における確度情報(確率分布と誤差の大きさ)の例を比較整理した図である。 図5は、対応付け判定処理の動作フロー例を示す図である。 図6は、対応付け判定部71による対応付け判定処理の利点について説明する図である。 図7は、重み算出部72における重み算出の例を示す図である。 図8は、パラメータ更新部33におけるパラメータの学習及び更新の動作例を示す図である。 図9は、位置精度学習部73における位置精度の学習と対応付け判定基準の更新の動作について示す図である。 図10は、本発明の第2の実施の形態である位置推定システム101の全体構成を示す図である。 図11は、第2の実施の形態におけるセンサフュージョン部51の動作の例を示す図である。 図12は、センサフュージョン部51における位置情報統合部81の動作の例を示す図である。 図13は、各種センサ部におけるパラメータ更新部33、43、63の動作フローの例を示す図である。 図14は、本実施形態の手法を3次元空間に拡張する場合の、各種センサごとの位置推定処理における確度情報(確率分布と誤差の大きさ)の例を比較整理した図である。 図15は、第3の実施形態に係る位置推定システム102の概略的な構成の例を示すブロック図である。
以下、添付の図面を参照して本発明の実施形態を詳細に説明する。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
説明は、以下の順序で行われる。
1.本発明の実施形態の概要
2.第1の実施形態
3.第2の実施形態
4.第3の実施形態
5.実施形態の効果
6.他の形態
<<1.本発明の実施形態の概要>>
まず、本発明の実施形態の概要を説明する。
(1)技術的課題
従来、カメラやレーダー、電波センサ、音響センサなどの各種のセンサを用いて、対象物体(人も含む)や無線端末を検知及び識別し、当該物体や端末の位置を推定したり追跡したりするシステムが提案されている。
また、近年では、各種センサで取得した位置情報や識別情報などを統合することで、個別センサの長所短所を補完して、一部センサにおける死角も含めて対象物を追跡可能にする、複数センサ間の統合連携システム(センサフュージョン)も提案されている。
各種センサで検知した対象物の位置情報や識別情報を統合して高精度化するためには、それぞれのセンサで検知した対象物のうち、どの対象物とどの対象物が同じであるかを判定すること、対象物同士の対応付け(紐付け、名寄せ、同定、マッチング)が重要である。対応付けが正しく行われると、当該対象物に関する複数センサ間の情報を統合して高精度化していくことが可能となる。一方で、対応付けを誤ってしまうと、異なる対象物を1つの対象物と判断してしまい、誤検知や精度低下の原因となる。したがって、複数センサ間で検知した対象物間における対応付け処理は、複数センサ間の統合連携システム(センサフュージョン)において重要な処理となる。
また、任意のセンサ(例えば電波センサ)単体による対象物の位置推定精度を向上させる方法として、他のセンサ(例えばカメラ)による対象物の位置推定結果等を用いて、当該センサ(電波センサ)による位置推定処理の際に用いるパラメータの学習および更新を行うことにより、当該センサの位置推定精度を向上する手法も提案されている。
例えば、非特許文献1には、カメラでターゲットを識別し、その位置推定結果を基に無線ベースの位置推定パラメータを学習する方法が記載されている。これは、カメラの死角が無線ベースの位置推定で補完できる関係に着目して、画像に比べて無線による位置推定精度が低いという課題を改善するものである。
また、特許文献2には、人物と端末装置との対応を自動的に認識する装置が記載されている。具体的に、特許文献2には、カメラで検知した人物の位置と、電波センサで検知した携帯端末の位置とを比較して、距離が閾値以下の場合に当該人物と端末装置とを対応付ける。これにより、カメラの画角内に複数の対象が存在した場合でも、端末装置とその保有人物を対応付けすることができるようになる。
また、特許文献2には、検出された物体と物体IDとをアソシエーション手段(109)で対応付ける際に、観測値と予測分布とから求められる事後分布の分散を重み付け値として用いることが記載されている。
さらに、特許文献3には、カメラの情報を基に校正パラメータの学習を行うことが記載されている。
しかしながら、非特許文献1に記載された技術において、カメラで見えている対象物の位置情報をそのまま正解値として用いると、逆に位置推定精度が劣化する場合があるという問題がある。位置推定精度が劣化する理由として、例えば2つの要因が考えられる。1つ目の要因は、カメラの画角内に複数ターゲットが存在する時、誤ったターゲットの位置を正解値として返してしまう場合があることである。2つ目の要因は、カメラからの距離が遠いエリアなど場所等に依存してカメラによる位置推定誤差の方が大きい場合があることである。
また、特許文献1に記載された技術において、距離計算に一般的なユークリッド距離を使用し、比較のための閾値に固定的な値を設定している場合には、双方のセンサの位置推定精度に依存して、誤対応が発生したり、対応付けができなかったりという問題が生じる。具体的には、比較的小さな閾値を設定した場合には真の対象が対応付け候補から外れて誤対応する可能性が高くなり、比較的大きな閾値を設定した場合には、複数の対象が対応付け候補となり、なかなか対応付けできない状況になる可能性が高くなる。
また、特許文献2に記載された技術では、観測値と予測分布とから求められる事後分布の分散が、アソシエーション手段(109)で行われる処理の重みとして用いられるだけで、上述したセンサの位置推定精度に関する考慮がなされていなかった。
さらに、特許文献3に記載された技術では、全て単一センサであるカメラ内やカメラ間の情報を基に、校正パラメータの学習及び決定を行うだけで、上述したセンサの位置推定精度に関する考慮がなされていなかった。
本実施形態の目的は、精度良く位置情報を推定することである。より具体的には、本実施形態の目的は、任意のセンサ(例えば電波センサ)単体による対象物の位置推定精度を向上させる方法として、他のセンサ(例えばカメラ)による対象物の位置推定結果等を用いて、当該センサ(電波センサ)による位置推定処理の際に用いるパラメータを学習及び更新する場合に、より適切に位置推定精度を向上させることである。
(2)技術的特徴
本実施形態では、例えば対象物に関する第1の位置情報を推定し、対象物に関する第2の位置情報を推定し、上記第1の位置情報と上記第2の位置情報とに基づいて、上記第1の位置情報により位置が推定される対象物と上記第2の位置情報により位置が推定される対象物との対応付けを判定し、上記第2の位置情報の確度情報と上記対応付けの判定結果に基づいて、対象物の正解位置情報と、上記正解位置情報の重み付け情報を算出し、上記正解位置情報と上記重み付け情報とに基づいて、上記第1の位置情報を推定するためのパラメータを更新する。
これにより、例えば、精度良く位置情報を推定することが可能になる。
なお、上述した技術的特徴は本発明の実施形態の具体的な一例であり、当然ながら、本発明の実施形態は上述した技術的特徴に限定されない。
以下では、本発明の実施の形態について詳細に説明する。第1の実施形態では、位置推定システムの例として、位置推定方法を実現するための電波探知部、映像解析部、センサフュージョン部の基本構成と特徴、動作について詳説する。
また、第2の実施形態では、各種センサ解析部のそれぞれに位置推定誤差があり、各々の位置推定結果を統合した位置を正解位置とする場合において、カメラを用いた映像解析部やレーダー解析部にパラメータを学習させる機能を付加する例について説明する。
<<2.第1の実施形態>>
(1)構成
図1は、第1の実施形態である位置推定システム100の全体構成を示す図である。位置推定システム100は、電波探知部30と映像解析部40などの各種センサ解析部を備え、センサフュージョン部50により電波解析結果と映像解析結果の対応付けを行って統合し、位置情報や識別情報を高精度化する複数センサ情報を用いた位置推定システムである。
電波探知部30は、1つまたは複数の電波センサ31と第1の位置推定部32とパラメータ更新部33を含む。電波探知部30は、例えば、複数の電波センサ31で受信した電波の強度情報を用いて、第1の位置推定部32により発信源の位置推定や識別を行い、第1の位置情報(位置推定情報)および識別情報を出力する。このとき、第1の位置推定部32は、上記第1の位置情報の位置推定処理における確度情報(誤差の確率分布や標準偏差等)も算出して出力する。パラメータ更新部33は、後述するセンサフュージョン部50から送信される正解位置情報と重み付け情報とに基づいて、上記第1の位置情報を推定するためのパラメータの学習処理を行う。
映像解析部40は、1つまたは複数のカメラ41と第2の位置推定部42とを含む。映像解析部40は、カメラ41で撮像した映像情報を用いて、顔認証や人物認識、物体認識や移動体検知などの映像解析処理を行い、第2の位置推定部42により認識対象の位置推定処理を行い、映像解析結果として第2の位置情報及び識別情報を出力する。このとき、第2の位置推定部42は、上記第2の位置情報の位置推定処理における確度情報(誤差の確率分布や標準偏差等)も合わせて出力する。
センサフュージョン部50は、電波探知部30及び映像解析部40からの位置推定情報(上記第1の位置情報、及び上記第2の位置情報)、確度情報、識別情報などを統合して高精度化する。具体的に、センサフュージョン部50は、対象物の正解位置情報とその重み付け情報を電波探知部30に送信する重み付け判定部70と、各センサで検知した対象物のうちどの対象物とどの対象物が対応しているかを判定する対応付け判定部71と、各センサで検知した対象物の位置推定結果に対する重み付け値を算出する重み算出部72と、対応付け判定結果を基に各センサで検知した対象の位置推定誤差を学習する位置精度学習部73を備える。
例えば、対応付け判定部71は、上記第1の位置情報と上記第2の位置情報とに基づいて、上記第1の位置情報により位置が推定される対象物と上記第2の位置情報により位置が推定される対象物との対応付けを判定する。重み算出部72は、上記第2の位置情報の確度情報と上記対応付けの判定結果に基づいて、対象物の正解位置情報と、上記正解位置情報の重み付け情報を算出する。そして、重み付け判定部70は、対応付け判定部71による対応付け判定結果と、重み算出部72による重み付け値を用いて、正解位置情報と、上記正解位置情報の重み付け情報を電波探知部30に送信する。
また、センサフュージョン部50は、この他に、対応付け判定部71の対応付け結果を基に位置情報を統合する位置情報統合部74、識別情報を統合する識別情報統合部75などを含んでいてもよい。
(2)動作
次に、第1の実施形態の動作を説明する。
図2は、第1の実施形態における位置推定システム100の動作フローを示す図である。第1の実施形態の動作としては、まず、電波探知部30及び映像解析部40の各種センサ解析部にて、対象物の検知および識別や、対象物の位置推定処理を行う。例えば、電波探知部30は、複数の電波センサ31で受信した電波情報により特定の発信源を検知する(ステップS3A)。そして、第1の位置推定部32は、まず受信電波の強度情報と伝搬環境のモデル(伝搬定数など)を用いて各電波センサからの距離(尤度)を推定し(ステップS3B)、各電波センサからの距離(尤度)情報を統合することで当該発信源の位置情報(上記第1の位置情報)を推定する(ステップS3C)。また、映像解析部40は、カメラ41で撮像した映像情報を用いて(ステップS4A)、顔認証や人物認識、物体認識や移動体検知などの映像解析処理を行い(ステップS4B)、第2の位置推定部42により認識対象の位置座標(上記第2の位置情報)を推定する(ステップS4C)。
ここで、電波探知部30及び映像解析部40の各種センサ解析部における対象物の位置推定処理の際に、第1の位置推定部32及び第2の位置推定部42により位置推定の確度情報を計算する。確度情報の例としては、位置推定尤度の確率分布(2次元のガウス分布、等方的なガウス分布、正規分布など)とその標準偏差や分散などが相当する。
図3は、各種センサごとの位置推定処理における確率分布の例を示す図である。図3(A)は、レーダーまたはレーザー等における位置推定の確率分布の例を示す。レーダーは、その特徴として、一般的に奥行方向(距離方向)の位置推定の信頼度が高く、角度方向(水平方向)の位置推定の信頼度が相対的に低いという性質がある。また、図3(B)は、カメラにおける位置推定時の確率分布の例を示す。カメラは、その特徴として、一般的に角度方向の位置推定の信頼度が高く、奥行方向の位置推定の信頼度が低いという性質がある。なお、電波センサや音波センサにおいて、センサ数が1個の場合は一般的に図3(B)に示すようなカメラに類似した確率分布となる。一方で、センサ数が3個以上の場合の電波センサまたは音波センサ等における位置推定の確率分布の例を図3(C)に示す。この場合は一般的に、センサ数が多くなると等方的な確率分布に近づくという性質があり、また、その信頼度は、各センサから発信源までの距離や、発信源の送信電力(電波強度)等に依存して時々刻々と変化する性質がある。
図4は、図3に示した各種センサごとの位置推定処理における確度情報(確率分布と誤差の大きさ)の例を比較整理した図である。一般的に、レーダーは、奥行方向の位置信頼度が高い2次元の確率分布を持つ傾向にある。一方で、カメラは、角度方向の位置信頼度が高い2次元の確率分布を持つ。センサ数が1個の場合の電波センサや音波センサも同様である。また、3個以上の電波センサや音波センサの場合、その位置推定の信頼度は、等方的な確率分布を持つ傾向にある。ここで、センサから検知対象までの物理的な距離にも依存するが、一般的には、電波センサや音波センサにおける位置推定誤差(標準偏差や分散の値)は、レーダーにおける奥行方向の位置推定誤差や、カメラにおける角度方向の位置推定誤差に比べて、相対的に大きくなる傾向にある。
また、電波探知部30におけるパラメータ更新部33は、センサフュージョン部50から送信される上記正解位置情報と上記重み付け情報を用いて、第1の位置推定部32における位置推定処理に用いる伝搬環境のモデル(伝搬モデル)の各パラメータ(伝搬定数など)の学習と更新を行う。パラメータの学習および更新方法の詳細は後述する。
次に、センサフュージョン部50は、各種センサ解析部から入力される対象物の位置情報やその確度情報を用いて、各種センサ解析部の位置推定処理におけるパラメータを更新して位置推定精度を向上させるための、上記正解位置情報と上記重み付け情報を送信する処理を行う。例えば、電波探知部30から入力される上記第1の位置情報とその確度情報、および、映像解析部40から入力される上記第2の位置情報とその確度情報などを用いて、各々のセンサで検知した対象物のうちどの対象物とどの対象物とが対応しているかの対応付け判定(S5A)や、正解位置情報に対する重み付け値の算出(S5D)を行い、電波探知部30に対して正解位置情報とその重み付け情報を送信する処理(S5D)を行う。
センサフュージョン部50における各々の処理の詳細について説明する。まず、対応付け判定部71における対応付け判定処理(同定判定、紐付け判定)(S5A)について説明する。図5は、対応付け判定処理の動作フロー例を示す図である。対応付け判定部71は、まず、電波探知部30からの上記第1の位置情報と、映像解析部40からの上記第2の位置情報を用いて、検知対象ごとの距離をそれぞれ算出する(SA1)。ここで、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合に備え、算出した距離を時間平均化してもよい(SA2)。また、次に、電波探知部30や映像解析部40などの各種センサからの確度情報を用いて、後述する対応判定処理に用いる閾値を動的に変更するために、閾値を算出する(SA3)。ここで、図5に示す例では、閾値算出処理を、距離算出処理と並行して実施する動作シーケンスとなっているが、距離算出処理後に閾値算出を行う動作シーケンスでも何ら問題はない。また、閾値算出においても、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合に備え、算出した閾値を時間平均化してもよい(SA4)。
なお、閾値算出処理(SA3)では、主に2種類の閾値を計算する。例えば、映像解析部40により推測される対象物A1の位置から、対象物A1に対して最も近い距離にある電波探知部30により推定される候補点B2までの距離をDA1B2とする。この距離DA1B2が、絶対的に一定範囲以内であるべきという絶対的な第1の閾値DTH1と、対象物A1に対する候補点の距離DA1B2と対象物A1に対する他の全ての候補点(2番目に近い対向点B1)の距離DA1B1との差が一定距離以上であるべきという相対的な第2の閾値DTH2である。絶対的な第1の閾値DTH1は、例えば候補点の標準偏差σB2を基に、絶対的な第1の閾値DTH1をDTH1=2σB2として計算する。また、相対的な第2の閾値DTH2は、例えば候補点B2の標準偏差σB2と対抗点B1の標準偏差σB1の和を基に、相対的な第2の閾値DTH2をDTH2=σB2+σB1として計算する。
対応付け判定部71は、距離算出処理(SA1)により算出した各対象物同士の距離と、閾値算出処理(SA3)で算出した閾値を用いて対応付け可否を判定する(SA5:対応判定処理)。前述したように、候補点B2の対象物A1に対する距離DA1B2と、絶対的な第1の閾値DTH1との比較を行い、絶対的な距離の判定条件として、DA1B2≦DTH1を満たすかどうかを判定する。また、同様に、候補点B2の対象物A1に対する距離DA1B2と対抗点B1の対象物A1に対する距離DA1B1の差から、相対的な第2の閾値DTH2との比較を行い、他の候補との相対的な距離の判定条件として、|DA1B1-DA1B2|≧DTH2を満たすかを判定する。そして、本実施形態では、双方の判定条件を両方とも満足する場合に、候補点B2を対象物A1と同一である(対応している)として対応付け判定結果を出力し、いずれか一方でも満足しない場合は対応付け不可として、次の位置推定結果が得られるタイミングで対応付け判定を再度繰り返して行う。
図6は、対応付け判定部71による対応付け判定処理の利点について説明する図である。検知対象がカメラの画角内など近傍に複数存在した場合に、関連手法として、例えば最も近接した対象同士を対応付けする手法の場合は、各センサからの位置推定の確度情報が低い場合に誤対応してしまう可能性が高くなり、誤対応した対象の位置を正解値として送信してしまうと、逆に位置推定精度が劣化する可能性がある。また、複数存在した場合は送信しないとする手法や、一定の距離内に1つだけ候補が存在する時のみ送信する手法(図6(A))の場合は、送信する機会が少なくなり、なかなかパラメータの学習が進まない。これに対して、本実施形態によれば、各センサ(電波探知部30や映像解析部40)の確度情報から対応付け判定の判定基準(閾値)を計算することで、適応的な閾値を用いて高い信頼度で対応付けが可能と判定できるため、誤対応を防ぎつつ、パラメータの学習も進むという利点がある。例えば、確度情報として誤差分布の傾きや方向軸まで考慮して距離や閾値を算出すると、図6(B)に示すように、誤差分布同士が重なるものが各々1つのみであることを判定でき、高い信頼度での対応付けが可能である。
次に、重み算出部72における重み算出処理(S5D)について説明する。図7は、重み算出部72における重み算出の例を示す図である。重み算出部72は、まず、対象物の正解位置を検知するセンサ(映像解析部40等)からの確度情報を用いて、各々のセンサにおける位置推定の確率分布を選択する。例えば、図3または図4に示したように、対象センサがカメラ41を用いた映像解析部40の場合は、角度方向の位置信頼度が高い2次元の確率分布が選択され、対象センサが3個以上の電波センサ31を用いた電波探知部30の場合は、等方的な確率分布が選択される。そして、例えば、対象センサがカメラ41を用いた映像解析部40の場合、図7(A)に示すように、対象センサの確率分布に関わらず、誤差円を等方的(1次元)と仮定して、その誤差円の半径に相当する値(標準偏差σやその平均値、またはそれらの倍数2σ、3σ等)を重み付け値として算出する。または、図7(B)に示すように、対象センサの確率分布が2次元である場合には、誤差円である楕円の軸の傾き情報と、角度方向と奥行方向の各々の軸の半径に相当する値(2次元の標準偏差σやその平均値、またはそれらの倍数2σ、3σ等)とを重み付け値として算出する。
最後に、重み付け判定部70は、対応付け判定部71からの対応付け結果と、重み算出部72からの重み付け値を基に、電波探知部30等の各種センサ部で検知した各対象物に対する正解位置情報と重み付け情報を、当該センサ部(電波探知部30等)に対して送信する。例えば、対応付け判定部71が、電波探知部30で検知したある対象物B2に対して映像解析部40で検知した対象物A1が対応付け可能と判定した場合は、映像解析部40から入力した対象物A1の位置推定情報と、重み算出部72で算出された対象物A1に対する重み付け値を、対象物B2に対する正解位置情報と重み付け情報として送信する。また、電波探知部30で検知したある対象物B2に対して、映像解析部40にて検知したいずれの対象物も対応付けできない場合は、正解位置情報を「無し」として送信するか、または、重み付け情報をゼロ(重み無し)として送信する。
次に、電波探知部30におけるパラメータ更新部33の動作の詳細について説明する。パラメータ更新部33は、センサフュージョン部50から送信される正解位置情報や重み付け情報を用いて、第1の位置推定部32における位置推定処理に用いる伝搬環境のモデル(伝搬モデル)の各パラメータ(伝搬定数など)の学習と更新を行う(S3D)。
図8は、パラメータ更新部33におけるパラメータの学習及び更新の動作例を示す図である。図8に示す例では、パラメータ更新部33は、位置推定処理に用いる伝搬モデルにおける伝搬定数をパラメータとして算出する。本例では、下記の数式に示すような伝搬モデルを用いる。伝搬定数αは一般に電波の送信出力に関連したパラメータで、βは単位距離における減衰率に関連したパラメータである。d(φ)は電波センサnと発信源との距離であり、φ=(x,y,z)は電波発信源の位置座標、(xn1,xn2,xn3)は電波センサnの位置座標である。電波センサが配置された環境において、位置が既知である電波発信源から発信した電波を各電波センサで受信すれば、図8(A)のグラフが得られる。ここで、図8(A)に示すLOS(Line of Sight)とは見通し環境にある点や伝搬モデルを意味し、NLOS(Non Line of Sight)とは非見通し環境にある点や伝搬モデルを示す。そして、測定した受信強度と、発信源-電波センサ間距離との値を、最小二乗法や最尤推定法などを用いて下記の数式にフィッティングすることで、伝搬定数(α,β)が得られる。なお、第1の位置推定部32は、各電波センサが電波発信源から受信した受信強度情報を基に、この伝搬定数(α,β)を含む下記の数式を用いて、各電波センサからの電波発信源の距離を推定した上で電波発信源の位置を推定するため、この伝搬定数(α,β)を環境に合わせて学習および更新することが重要である。
Figure 0007384199000001
ここで、パラメータ更新部33は、任意の検知対象に対してセンサフュージョン部50から送信される正解位置情報とその重み付け情報を用いて、図8(A)のグラフ上に、その正解位置情報に対応する点をプロットする。具体的には、当該対象物を検知した際に各電波センサが受信した受信電波強度と、送信された正解位置から当該電波センサまでの距離の情報から、点をプロットすることができる。更にこの時、パラメータ更新タイミングにおいて最小二乗法などを用いて上記の数式にフィッティングする際に向けて、点ごとに重みを持たせることを特徴とする。
具体的には、センサフュージョン部50から送信された重み付け情報が、図7(A)に示したような1次元の重み付け値の場合には、単純にその重み付け情報に応じた値を重みとする。例えば、重み付け値が誤差円の半径(標準偏差等)の場合には、その逆数、または、最大値から重み付け値を減算した差を重みとするなど、重み付け値が大きいほど小さい重みとする。一方で、重み付け情報が、図7(B)に示したような2次元の誤差円における傾きと、各々の軸における半径(標準偏差等)の場合には、図8(B)に示すように重みを算出する。すなわち、各電波センサから正解位置座標までの方向に応じて、重み付け情報から得られる誤差分布(楕円の傾き、長軸の半径、短軸の半径)から、その方向に相当する重み成分(楕円と方向軸の交点など)を計算する。例えば、図8(B)に示す例では、正解位置情報の電波センサAに対する重み成分は、電波センサBに対する重み成分より大きくなる。そして、電波センサごとに異なるその重み成分の逆数や、または、最大値からその重み成分を減算した差を重みとして用いる。そして、一定時間ごとか一定個数プロットするごとに上記数式1などへのフィッティングを行うことで、伝搬定数(α,β)などのパラメータを動的に更新する。
また、最後に、センサフュージョン部50の位置精度学習部73における、位置精度の学習処理(S5B)と対応付け判定基準の更新(S5C)について説明する。図9は、位置精度学習部73における位置精度の学習と対応付け判定基準の更新の動作について示す図である。
まず、前提として、パラメータ更新部33における学習とパラメータ更新が上手く進めば、電波探知部30等の各種センサ部における位置推定の精度は向上する。すなわち、位置推定の結果は正解位置に近づく。しかしながら、第1の位置推定部32から出力される確度情報は、誤差の確率分布(結合尤度情報)等から得られる標準偏差等に相当する値であるため、確度情報にはその位置推定精度の向上分が直接反映されない可能性がある。その場合、図9の上側(a)に示すように、前述した対応付け判定部71における対応付け判定処理(S5A)だけでは、入力する確度情報のみを用いて対応付け判定基準を算出するため、位置推定精度が向上しても対応付け判定基準には反映されず、結果として、位置精度向上分を考慮すれば対応付け可能な場合においても対応付け不可として送信されないケースが発生してしまう。
そこで、図9の下側(B)に示すように、位置精度学習部73において、位置精度の学習と対応付け判定基準の更新を行う。位置精度の学習(S5B)は、まず、対応付け判定部71にて対応付け可能と判定された位置推定結果と正解位置情報を用いて、一定期間内で(または一定サンプル数ごとの)最大誤差または一定期間内で累積平均した誤差(または誤差の90%値に相当する値)を算出する。そして、一定期間か一定サンプル数ごとにこの最大誤差または累積平均誤差の推移をプロットし、徐々に収束していっている(徐々に小さくなっている)ことを確認する。すなわち、位置推定精度の収束度を学習する。更に、対応付け判定基準の更新(S5C)は、上記が徐々に収束していっていることが確認でき、且つ、その値が、確度情報として入力される誤差円の半径等に比べて小さい場合には、確度情報ではなくその値(最大誤差または平均誤差)を基に、対応付け判定基準を算出する。すなわち、対応付け判定基準を、確度情報だけでなく位置推定精度の収束度を用いて動的に変更する。これにより、対応付け判定基準に、位置推定精度の向上分が反映されることになるため、信頼性の高い対応付け判定が可能となる。
また、センサフュージョン部50は、上述したように、対応付け判定部71により電波探知部30や映像解析部40等の各種センサで検知した対象物同士が対応している(同一)と判定された場合、位置情報統合部74にて各センサ解析部からの当該対象の位置推定情報を統合化することで当該対象の位置を高精度化してもよい。位置推定情報の統合方法としては、例えば、電波探知部30や映像解析部40から出力される当該対象物の位置推定の確度情報(確率分布や標準偏差等)を基に、その信頼度を尤度として双方の確率分布を結合する結合確率分布を用いて統合する方法を用いる。または、電波探知部30や映像解析部40から出力される位置推定結果に対して、各々の確度情報(標準偏差や分散等)を基にその信頼度で重み付けして平均化(加重平均)する方法を用いてもよい。また、同様の手法にて、識別情報統合部75にて各センサ解析部からの当該対象の識別情報を統合化することで対象の識別情報を高精度化してもよい。
このように、第1実施の形態では、電波探知部30等の各種センサ部が、第1の位置推定部32と位置推定処理のためのパラメータ更新部33を備えることにより、位置推定精度を向上することが可能である。特に、センサフュージョン部50が、上記第1の位置情報と上記第2の位置情報から対象物同士の対応付けを判定する対応付け判定部71を備えることにより、誤った対象物の位置推定結果を送信することを防止することができる。また、センサフュージョン部50が、上記第2の位置情報の確度情報から重み付け値を算出する重み算出部72を備え、正解位置情報と合わせて重み付け情報をパラメータ更新部33に送信することにより、パラメータ更新部33は、より信頼性の高いパラメータ更新を行うことが可能になる。更に、センサフュージョン部50が、位置推定精度を学習して、その収束度から対応付け判定部71における対応付け判定基準を動的に変更する位置精度学習部73を備えることにより、位置精度の向上分を反映した対応付け判定を実施でき、結果として、より効果的に位置推定精度を向上することができるという利点がある。
<<3.第2の実施形態>>
(1)構成
図10は、本発明の第2の実施の形態である位置推定システム101の全体構成を示す図である。第2の実施形態における位置推定システム101は、電波探知部30や映像解析部40等の各種センサ解析部それぞれに位置推定誤差があるものとして、各々の位置推定結果を統合した推定位置を正解位置として、それぞれのセンサ解析部にてパラメータの学習および更新を行うことを特徴とする。また、第2の実施形態では、電波探知部30と映像解析部40に加えて、レーダー解析部60も存在するようなセンサ情報の統合を例としている。
第2の実施の形態におけるセンサ情報を統合する位置推定システム101は、第1の実施形態と同様、各種センサ解析部(電波探知部30、映像解析部40、レーダー解析部60など)とセンサフュージョン部51とを備える。ここで、電波探知部30には、第1の実施形態と同様、1つまたは複数の電波センサ31と第1の位置推定部32、パラメータ更新部33を含む。また、映像解析部40は、1つまたは複数のカメラ41と第2の位置推定部42の他に、第2の実施形態に特有の構成として、パラメータ更新部43を備える。レーダー解析部60は、1つまたは複数のレーダー61と第3の位置推定部62を含み、パラメータ更新部63も備える。なお、図示していないが、他センサ解析部の例として、各種レーザー(LiDAR)解析部や、音響センサ解析部などが含まれていてもよい。
ここで、第2の実施形態にて特有である映像解析部40内のパラメータ更新部43は、カメラ映像上で検知した対象のピクセル位置(映像や画像上の座標{x,y})から、物理的な世界座標(地図上における{x,y,z}や{緯度、経度、高度}など)に座標変換する際の環境パラメータ、例えば、座標変換行列、カメラキャリブレーションパラメータ、検知対象の高さ及び身長などの設定値、などを学習して更新する。
また、レーダー解析部60では、例えば、各種レーダーによる送受信電波情報を用いて、第3の位置推定部62が、対象物の位置推定(主に距離測定)や識別を行い、位置推定情報や識別情報を出力する。このとき、位置推定処理における確度情報(誤差の確率分布や標準偏差等)も算出して出力する。そして、パラメータ更新部63は、第3の位置推定部62において位置推定(距離推定)する際に用いる環境パラメータ、例えば、レーダー波の速度とその減衰率など、を学習して更新する。
また、センサフュージョン部51は、電波探知部30、映像解析部40、レーダー解析部60からの位置情報、確度情報、識別情報などを統合して高精度化すると共に、正解位置情報と重み付け情報を各種センサ解析部に送信する。すなわち、第1の実施形態と同様、対応付け判定部71と重み算出部82、重み付け判定部70を備えると共に、各種センサ解析部からの位置推定結果を統合する位置情報統合部81を備える。また、この他に、各種センサ解析部からの識別情報を統合する識別情報統合部、等を備えてもよい。ここで、重み付け判定部70や対応付け判定部71は、第1の実施形態と基本的にはほぼ同様であるが、重み算出部82は、第2の実施形態に特有である位置情報統合部81の結果を用いて第2の実施形態に特有の動作を行う。
(2)動作
次に、第2の実施形態の動作を説明する。
本発明における第2の実施形態の動作としては、図10に示したように、まず、電波探知部30や映像解析部40、レーダー解析部60などの各種センサ解析部にて、対象物の検知および識別や、対象物の位置推定処理を行う。例えば、レーダー解析部60は、各種レーダーによる送受信電波情報を用いて対象物を検知および識別し、第3の位置推定部62により対象の位置推定(主に距離測定)を行う。
ここで、各々のセンサ解析部における対象の位置推定処理の際に、第1の位置推定部32,第2の位置推定部42,および第3の位置推定部62にて位置推定の確度情報を計算する。確度情報の例としては、図3や図4に示したように、位置推定尤度の確率分布(2次元のガウス分布、等方的なガウス分布、正規分布など)とその標準偏差や分散などが相当する。
次に、第2の実施形態におけるセンサフュージョン部51の動作について説明する。図11は、第2の実施の形態におけるセンサフュージョン部51の動作の例を示す図である。
センサフュージョン部51は、電波探知部30、映像解析部40、及びレーダー解析部60などの各種センサ解析部から出力される識別情報、位置推定情報、位置推定の確度情報(確率分布や標準偏差など)を用いて、第1の実施形態と同様、まず、対応付け判定部71にて、各種センサで検知した対象物のうちどの対象物とどの対象物が対応しているかの対応付け判定(同定判定、紐付け判定)を行う(S8A)。
そして、対応付け判定部71による対応付け判定によって複数のセンサ解析部にて検知した対象が同一(対応している)と判定された場合は、第2の実施形態に特有の動作として、位置情報統合部81にて各センサ解析部からの当該対象の位置推定情報を統合化することで対象物の推定位置を高精度化する(S8B)。なお、対応付け判定結果を用いて同様に、図示していない識別情報統合部により、各センサ解析部からの当該対象の識別情報を統合化することで対象の識別情報を高精度化してもよい。
図12は、センサフュージョン部51における位置情報統合部81の動作の例を示す図である。位置情報統合部81における位置推定情報の統合方法としては、例えば、図12(A)に示すように、電波探知部30や映像解析部40から出力される当該対象物の位置推定の確度情報(確率分布や標準偏差等)を基に、その信頼度を尤度として双方の確率分布を結合する結合確率分布を用いて統合する方法を用いる。この結合確率分布(結合尤度)の中で最も尤度の高い点(位置座標)を統合推定位置として出力する。または、図12(B)に示すように、電波探知部30や映像解析部40から出力される位置推定結果に対して、各々の確度情報(標準偏差や分散等)を基にその信頼度で重み付けして平均化(加重平均)する方法を用いてもよい。この場合、例えば2つのセンサの検知対象物が同一(対応している)と判定された場合を例とすると、{統合位置}={{第1の位置推定結果}×{第1の位置推定結果の相対的な信頼度}}+{{第2の位置推定結果}×{第2の位置推定結果の相対的な信頼度}}のように表される数式にて統合位置を算出できる。ここで、{第xの位置推定結果の相対的な信頼度}はx個の各種センサ分の信頼度を全て合計すると1になるような値であり、本例の場合は、{第1の位置推定結果の相対的な信頼度}={正規化された第1の確度情報}/{{正規化された第1の確度情報}+{正規化された第2の確度情報}}で算出でき、また、{第2の位置推定結果の相対的な信頼度}={1-第1の位置推定結果の相対的な信頼度}と等しい値である。あるいは、図示していないが、この他の統合位置の算出方法として、対応付けられた各種センサからの位置推定結果のうち、それらの確度情報から最も信頼度の高い位置推定結果をそのまま統合位置として採用する方法もある。
更に、第2の実施形態におけるセンサフュージョン部51は、位置情報統合部81における統合位置を、重み付け判定部70にて正解位置として送信すると共に、その重み付け情報を、重み算出部82により算出して送信する(S8D)。重み算出部82は、位置情報統合部81と同様に、各種センサ部からの位置推定における確度情報を統合することで、その正解位置に対する重み付け情報を算出する。例えば、位置情報統合部81が、図12(A)に示したように結合確率分布(結合尤度)を用いて統合位置を推定した場合は、重み付け情報としてその結合確率分布の情報をそのまま送信してもよいし、その結合確率分布(結合尤度)から標準偏差や分散に相当する値を算出して送信してもよい。後者の場合は、結合確率分布を等方の誤差円に近似する形でその半径として標準偏差に相当する値を送信すると1次元の値となる。また、結合確率分布を2次元の誤差円(楕円)に近似する形でその標準偏差に相当する値として送信すると、重み付け情報は楕円の傾きと各々の軸の標準偏差に相当する値となる。
一方で、位置情報統合部81にて、図12(B)に示したように、各々の確度情報を基に、各々の信頼度を重み付け平均化して統合位置を算出した場合は、重み付け情報としてその統合位置の確度情報を算出して送信してもよい。例えば、対応付けられた各種センサからの位置推定結果の中で最も信頼度の高い位置推定結果に対する確度情報を、{第1の位置推定結果に対する確度情報}とすると、重み付け情報としては、{第1の位置推定結果に対する確度情報}×{第1の位置推定結果の相対的な信頼度}として算出される。ここで、{第1の位置推定結果の相対的な信頼度}={正規化された第1の確度情報}/{{正規化された第1の確度情報}+{正規化された第2の確度情報}}等である。または、位置情報統合部81にて、対応付けられた各種センサからの位置推定結果のうち、それらの確度情報から最も信頼度の高い位置推定結果をそのまま統合位置として採用する場合があることを考慮して、重み付け情報としても、最も信頼度の高い位置推定結果に対する確度情報をそのまま送信してもよい。この場合は、第1の実施形態にて図7などを用いて説明した重み算出方法とほぼ同様となる。
最後に、重み付け判定部70にて、対応付け判定部71からの対応付け結果と、位置情報統合部81からの統合位置、重み算出部82からの重み付け情報を基に、第1の実施形態と同様、各種センサ部(電波探知部30、映像解析部40、レーダー解析部60等)で検知した各対象物に対する正解位置情報と重み付け情報を、当該センサ部に対して送信する。ここで、第2の実施の形態に特有の動作として、正解位置情報として、位置情報統合部81で統合した位置推定結果を送信し、重み付け情報として、第2の実施形態における重み算出部82で算出した重み付け情報を送信する。なお、任意のセンサで検知した任意の対象物に対して、他のセンサ解析部にて検知したいずれの対象物も対応付けできない場合は、正解位置情報を「無し」として送信するか、または、重み付け情報をゼロ(重み無し)として送信する。
次に、第2の実施形態における各種センサ解析部(電波探知部30、映像解析部40、レーダー解析部60、他)におけるパラメータ更新部33、43、63の動作の詳細について説明する。
電波探知部30内のパラメータ更新部33は、第1の実施形態と同様、センサフュージョン部50から送信される正解位置情報や重み付け情報を用いて、第1の位置推定部32における位置推定処理に用いる伝搬環境のモデル(伝搬モデル)の各パラメータ(伝搬定数など)の学習と更新を行う。基本的には、第1の実施形態にて図8や図7を用いて説明した動作と同様であり、センサフュージョン部51から送信される重み付け情報が、図7(A)に示したような1次元の重み付け値の場合には、単純にその重み付け情報に応じた値を重みとする。そして、重み付け情報が、図7(B)に示したような2次元の情報の場合も、第1の実施形態にて図8(B)を用いて説明したように、その傾きと、各々の軸における重み付け値(標準偏差等)の値を用いて、各センサからの重み成分を算出した上でその重み成分に応じた値を重みとして、各パラメータの学習と更新を行う。また、第2の実施形態に特有の動作として、センサフュージョン部51からの重み付け情報として、結合確率分布の情報がそのまま送信される場合は、その結合確率分布(結合尤度)から標準偏差や分散に相当する値を算出して重みとする。次に、結合確率分布(結合尤度)の標準偏差や分散に相当する値が送信される場合は、その値を1次元の重み付け値として、第1の実施形態と同様の方法にて重みとする。また、重み付け情報として、結合確率分布を2次元の誤差円(楕円)に近似する形でその標準偏差に相当する値(楕円の傾きと各々の軸の標準偏差に相当する値)が送信される場合は、その値を2次元の重み付け値として、第1の実施形態と同様の方法にて重みとする。更に、重み付け情報として統合位置の確度情報が送信される場合も、その値を1次元の重み付け値として、第1の実施形態と同様の方法にて重みとする。
次に、映像解析部40のパラメータ更新部43は、電波探知部30のパラメータ更新部33と同様に、センサフュージョン部51から送信される正解位置情報と重み付け情報を用いて、座標変換用のパラメータの学習と更新を行う。具体的には、カメラ映像上で検知した対象物のピクセル位置(映像や画像上の座標{x,y})から、物理的な世界座標(地図上における{x,y,z}や{緯度、経度、高度}など)に座標変換する際の環境パラメータ、例えば、座標変換行列、カメラキャリブレーションパラメータ、検知対象の高さ及び身長などの設定値、などを学習して更新する。
図13は、各種センサ部におけるパラメータ更新部33、43、63の動作フローの例を示す図である。例えば、映像解析部40のパラメータ更新部43は、一般的にはカメラキャリブレーションを行い、座標変換パラメータを算出する。このとき、カメラ画像上でのピクセル位置が、物理的な世界座標のどこに対応するか、という座標変換前と座標変換後の2種類の情報(正解値)を組み合わせて入力及びプロットする(S1301)。ここで、複数のピクセル位置に関する情報を入力及びプロットした上で座標変換用の行列パラメータを算出するのが一般的である。パラメータ更新部43は、図13に示すように、センサフュージョン部51から送信される正解位置情報に対して、重み付け情報を用いて電波探知部30におけるパラメータ更新部33と同様の方法にて重みを算出し(S1303)、各正解位置情報に対して重み付けして座標変換パラメータのフィッティングを行う(S1305)。これにより、より信頼度の高い正解値はフィッティングへの影響が大きくなり、信頼度の低い正解値は影響が小さくなる。
また、レーダー解析部60におけるパラメータ更新部63についても、前述した他のパラメータ更新部33、43と同様の動作が行われる。なお、パラメータ更新部63は、第3の位置推定部62において位置推定(距離推定)する際に用いる環境パラメータ、例えば、レーダー波の速度とその減衰率など、を学習して更新する。具体的には、パラメータ更新部63は、センサフュージョン部51から送信される正解位置情報に対して、重み付け情報を用いて他のパラメータ更新部33、43と同様の方法にて重みを算出し、各正解位置情報に対して重み付けした上で、距離推定する際の環境パラメータのフィッティングを行う。
このように、第2の実施形態によれば、電波探知部30や映像解析部40、レーダー解析部60等の各種センサ解析部において、第1の位置推定部32、第2の位置推定部42、及び第3の位置推定部62と共に位置推定処理のためのパラメータ更新部33、43、63を備えることにより、位置推定精度を向上することが可能である。特に、センサフュージョン部51が、第1の実施形態と同様、各センサ解析部からの検知対象同士の対応付けを判定する対応付け判定部71を備えることにより、誤った対象の位置推定結果を送信することを防止することができる。
ここで、第2の実施形態に特有の効果としては、センサ解析部の種類によらず、それぞれが位置推定誤差を持っていたとしても、それぞれのセンサ解析部の位置推定精度を効果的に向上できることである。これは、電波探知部30や映像解析部40、レーダー解析部60等の各種センサ解析部それぞれに位置推定誤差があるものとして、より信頼度の高い正解位置を統合位置として推定し、各々のセンサ解析部にて環境パラメータの学習および更新を行うことを特徴とする、より汎用的な位置推定システムとしているためである。更に、その結果、各種センサ解析部からの位置推定結果を統合させた統合位置の推定精度も相乗的に向上するという利点がある。
また、上記の第1の実施形態や第2の実施形態においては、主に、2次元の位置座標(平面座標)を例として説明してきたが、センサ情報を統合させた位置推定システム及び位置推定方法は、3次元の位置座標(空間座標)にも拡張が可能である。
図14は、本実施形態の手法を3次元空間に拡張する場合の、各種センサごとの位置推定処理における確度情報(確率分布と誤差の大きさ)の例を比較整理した図である。一般的に、レーダーは奥行方向の位置信頼度が高い3次元の確率分布を持つ傾向にある。一方で、カメラは角度方向や高度方向の位置信頼度が高い3次元の確率分布を持つ。センサ数が1個の場合の電波センサや音波センサも同様である。また、3個以上の電波センサや音波センサの場合、その位置推定の信頼度は3次元空間で等方的な確率分布を持つ傾向にある。ここで、センサから検知対象までの物理的な距離にも依存するが、一般的には、電波センサや音波センサにおける位置推定誤差(標準偏差や分散の値)は、レーダーにおける奥行方向の位置推定誤差や、カメラにおける角度方向や高度方向の位置推定誤差に比べて、相対的に大きくなる傾向にある。また、各種センサにおける個々の対象の位置推定の確度情報(標準偏差や分散の値)は位置推定するたびに、時々刻々と変化する性質がある。
なお、3次元空間に拡張した場合、各種センサ解析部では、各々の位置推定部等の処理が3次元空間を対象とした処理に拡張され、また、各センサフュージョン部50、51においては、対応付け判定部71や重み算出部72、82、位置精度学習部73や位置情報統合部81等の処理が3次元空間を対象とした処理に拡張される。この場合、図4の代わりに図14に示した3次元の確度情報(確率分布と誤差の大きさ)を用いることによって3次元空間への拡張が可能である。すなわち、基本的な手法としては、第1の実施形態や第2の実施形態で説明した手法と同様であり、例えば図14を用い3次元空間向けに方向軸ごとの重み付け値の算出処理などを拡張することで、3次元空間にも容易に対応できる。
<<4.第3の実施形態>>
続いて、図13を参照して、本発明の第3の実施形態を説明する。上述した第1の実施形態及び第2の実施形態は、具体的な実施形態であるが、第3の実施形態は、より一般化された実施形態である。
図15を参照して、第3の実施形態に係る位置推定システム102の構成の例を説明する。図15は、第3の実施形態に係る位置推定システム102の概略的な構成の例を示すブロック図である。図15を参照すると、位置推定システム102は、第1の位置推定部110、第2の位置推定部120、対応付け判定部130、重み算出部140、及びパラメータ更新部150を備える。
以上のような構成からなる位置推定システム102によれば、第1の位置推定部110は、対象物に関する第1の位置情報を推定する。第2の位置推定部120は、対象物に関する第2の位置情報を推定する。対応付け判定部130は、上記第1の位置情報と上記第2の位置情報とに基づいて、上記第1の位置情報により位置が推定される対象物と上記第2の位置情報により位置が推定される対象物との対応付けを判定する。重み算出部140は、上記第2の位置情報の確度情報と上記対応付けの判定結果に基づいて、対象物の正解位置情報と、上記正解位置情報の重み付け情報を算出する。パラメータ更新部150は、上記正解位置情報と上記重み付け情報とに基づいて、上記第1の位置情報を推定するためのパラメータを更新する。
例えば、第1の位置推定部110は、上述した第1の実施形態又は第2の実施形態に係る第1の位置推定部32の動作を行ってもよい。第2の位置推定部120は、上述した第1の実施形態又は第2の実施形態に係る第2の位置推定部42の動作を行ってもよい。対応付け判定部130は、上述した第1の実施形態又は第2の実施形態に係る対応付け判定部71の動作を行ってもよい。重み算出部140は、上述した第1の実施形態又は第2の実施形態に係る重み算出部72、82の動作を行ってもよい。パラメータ更新部150は、上述した第1の実施形態又は第2の実施形態に係るパラメータ更新部33の動作を行ってもよい。
<<5.実施形態の効果>>
以上のような実施形態によれば、以下のような効果が期待できる。
第1の効果は、電波探知部や映像解析部、レーダー解析部等の各種センサで検知した対象同士を、高い信頼度で対応付け(同定、紐付け)できる。これにより、位置推定処理に必要な環境パラメータの学習と更新処理を高信頼に行うことができる。すなわち、位置推定精度を効率的に向上させることができる。その理由は、センサフュージョン部における対応付け判定部にて、電波探知部や映像解析部等の各種センサにおける位置推定時の確度情報を用いて動的に対応付け判定基準を変更し、その判定基準を用いて対応付けを判定する特徴を備えることにより、各種センサからの位置推定誤差(確度情報)に沿って、適応的に(高信頼に且つ短時間で)検知対象同士の対応付け判定ができるためである。これにより、位置推定精度が劣化する要因の1つ目である、誤った対象の位置を正解値として返してしまうことを防ぎつつ、学習に必要となる信頼度の高くより多くの正解値を送信することができるという利点がある。
第2の効果は、電波探知部や映像解析部、レーダー解析部等の各種センサ解析部において、正解位置情報に加えてその重み付け情報を用いることで、位置推定処理に必要な環境パラメータの学習と更新の処理を、その正解位置情報の信頼度に合わせてより高信頼に行うことができることである。その結果として、位置推定の精度も効果的に向上させることができる。その理由は、上述したセンサフュージョン部は、電波探知部や映像解析部等の各種センサ解析部における位置推定時の確度情報に含まれる確率分布モデル等に基づいて、動的に正解位置情報の重み付け情報を算出する重み算出手段を備えるためである。それにより、各種センサ部におけるパラメータ更新手段では、確度情報の高い(誤差の小さい)正解位置の重みを大きくし、確度情報の低い(誤差の大きい)正解位置の重みを小さくして、パラメータの学習と更新処理を高信頼且つ効果的に実施できるためである。
また、上述した第1の実施形態によれば、電波探知部や映像解析部等の各種センサにおける位置推定時の確度情報に含まれる確率分布モデル等に基づいて、確率分布モデルの方向軸ごとに重みを計算し、方向軸の傾きと各々の軸の重み付け値を算出する重み算出手段を含むことにより、確度情報の高い(誤差の小さい)方向軸と確度情報の低い(誤差の大きい)方向軸を分けて、2次元の重み付け値として送信できるという利点がある。これにより、各種センサ解析部におけるパラメータ更新手段では、2次元の重み付け情報を用いて、例えば、各電波センサからの距離方向に相当する重み成分のみを抽出でき、各種センサごとに特性の異なる位置誤差の確率分布に従って、より高信頼にパラメータの学習と更新を行うことができるという利点がある。
なお、上述した第2の実施の形態によれば、各種センサからの位置推定結果を、その確度情報を用いて重み付けして統合した統合位置を正解位置とする位置情報統合部を備えることで、カメラからの距離が遠いエリアなど場所などに依存してカメラによる位置推定誤差の方が大きい場合にも柔軟に対応可能という利点がある。この場合も、重み算出部により、各センサ解析部からの確度情報を用いてその統合位置に対する信頼度を重み付け情報として算出した上で送信するため、各種センサ解析部でのパラメータの学習と更新を、より高信頼に行うことが可能である。
第3の効果は、パラメータの学習と更新により動的に位置推定精度を向上させた場合に、センサフュージョン部における対応付け判定の精度も向上できることによって、更に位置推定精度の向上度合いが相乗的に高まることである。この理由は、上述した第1の実施形態で説明したように、センサフュージョン部が、位置推定精度を学習して、その収束度から対応付け判定部における対応付け判定基準を動的に変更する位置精度学習部を備えるからである。つまり、位置精度の向上分を反映した対応付け判定を実施でき、より高信頼且つ短時間に、正解位置と重み付け情報を送信することができるためである。結果として、相乗的により高信頼且つ短時間に位置推定精度を向上させることが可能となる。
第4の効果は、種々のセンサに対する柔軟性や拡張性が高いことである。その理由は、上述した第2の実施形態に示したように、カメラを用いた映像解析、電波センサを用いた電波探知、各種レーダーを用いたレーダー解析、各種レーザー解析(LiDAR等)、音響センサを用いた音波探知など、種々のセンサへの対応を考慮したインタフェースと正解データ送信機能を備えているためである。すなわち、センサフュージョン部の例として、対応付け判定部における対応付け判定処理や、重み算出部における重み算出処理、位置情報統合部における位置情報統合処理においては、種々のセンサの特性を考慮した位置推定時における確度情報(方向軸を考慮した確率分布、標準偏差および分散等)を用いており、各種センサにおける位置推定時の確度情報を、同様の確率分布にモデル化できれば、いずれのセンサにも対応できるためである。
また、図14に示したように、上述した実施形態に係るセンサ情報統合方法によれば、2次元の位置座標(平面座標)における位置推定情報を統合する場合や、3次元の位置座標(空間座標)における位置推定情報を統合する場合など、いずれにも対応できるという利点もある。
また、以上のようなこれらの効果により、実際にシステムを設置および運用する側への利点としては、電波センサやカメラ設置時における事前のサイトサーベイやキャリブレーション、事前に正解値を取得して学習する事前のトレーニングなど、設置や導入にかかる負担や工数(SI工数等)を効果的に削減することができる。また、障害物や建物、コンテナなどの追加および除去による空間の変動や、早朝、昼間、夕方および夜間などの時間帯の変動など、設置環境の変動にも、少ない工数で追従および対応可能になるという利点もある。すなわち、既に保有の初期パラメータを用いて最初の設置を行い、運用しながら自律的に環境に合わせて位置推定精度を最適化されていくことが可能になるため、設置や導入時のトレーニングだけでなく、環境変動に起因した再キャリブレーション等にかかる負担や工数を削減可能である。
<<6.他の形態>>
以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。
例えば、本明細書に記載されている処理におけるステップは、必ずしもシーケンス図に記載された順序に沿って時系列に実行されなくてよい。例えば、処理におけるステップは、シーケンス図として記載した順序と異なる順序で実行されても、並列的に実行されてもよい。また、処理におけるステップの一部が削除されてもよく、さらなるステップが処理に追加されてもよい。
また、本明細書において説明した位置推定システムの構成要素(例えば、第1の位置推定部、第2の位置推定部、対応付け判定部、重み算出部、及び/又はパラメータ更新部)を備える装置(例えば、位置推定システムを構成する複数の装置(又はユニット)のうちの1つ以上の装置(又はユニット)、又は上記複数の装置(又はユニット)のうちの1つのためのモジュール)が提供されてもよい。また、上記複数の装置(又はユニット)は、プログラム(命令)を記憶するメモリと、当該プログラム(命令)を実行可能な1つ以上のプロセッサとを含んでもよい。また、上記構成要素の処理を含む方法が提供されてもよく、上記構成要素の処理をプロセッサに実行させるためのプログラムが提供されてもよい。また、当該プログラムを記録したコンピュータに読み取り可能な非一時的記録媒体(Non-transitory computer readable medium)が提供されてもよい。当然ながら、このような装置、モジュール、方法、プログラム、及びコンピュータに読み取り可能な非一時的記録媒体も本発明に含まれる。
上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
対象物に関する第1の位置情報を推定する第1の位置推定部と、
対象物に関する第2の位置情報を推定する第2の位置推定部と、
前記第1の位置情報と前記第2の位置情報とに基づいて、前記第1の位置情報により位置が推定される対象物と前記第2の位置情報により位置が推定される対象物との対応付けを判定する対応付け判定部と、
前記第2の位置情報の確度情報と前記対応付けの判定結果に基づいて、対象物の正解位置情報と、前記正解位置情報の重み付け情報を算出する重み算出部と、
前記正解位置情報と前記重み付け情報とに基づいて、前記第1の位置情報を推定するためのパラメータを更新するパラメータ更新部と、
を備える、位置推定システム。
(付記2)
前記パラメータ更新部は、前記第1の位置情報を推定するために用いられるパラメータを更新する際に、前記正解位置情報と前記重み付け情報を用いて、学習データとしての正解値を重み付けすることにより前記パラメータを更新する、付記1記載の位置推定システム。
(付記3)
前記重み算出部は、前記第2の位置情報の確度情報に含まれる確率分布モデルに基づいて、前記確率分布モデルの方向軸の傾きと、前記方向軸ごとに対応する重み付け値を算出する、付記1または2記載の位置推定システム。
(付記4)
前記パラメータ更新部は、前記重み付け情報の傾きに対応する重み付け値から前記第1の位置推定部により前記第1の位置情報を推定するために用いられるパラメータに影響する重み付け成分を算出し、その算出した成分を対応する正解位置情報に重み付けする付記3記載の位置推定システム。
(付記5)
前記方向軸は、角度方向と高度方向と奥行方向の少なくとも2つの方向軸を含む付記3または4記載の位置推定システム。
(付記6)
前記対応付け判定部は、前記第1の位置情報の確度情報と前記第2の位置情報の確度情報から、前記対応付けの判定基準を算出する付記1乃至5のうちいずれか1項記載の位置推定システム。
(付記7)
前記対応付け判定部は、前記第1の位置情報と前記第2の位置情報との比較から位置推定精度を学習し、学習した位置推定精度を用いて前記対応付けの判定基準を更新する付記1乃至5のうち何れか1項記載の位置推定システム。
(付記8)
前記第1の位置情報と前記第2の位置情報と前記第1の位置情報の確度情報と前記第2の位置情報の確度情報を用いて、統合した位置情報を算出する位置情報統合部をさらに備える付記1乃至7のうちいずれか1項記載の位置推定システム。
(付記9)
前記重み算出手段は、前記第1の位置情報と前記第2の位置情報と前記第1の位置情報の確度情報と前記第2の位置情報の確度情報を用いて、前記重み付け情報を算出する付記1乃至8のうちいずれか1項記載の位置推定システム。
(付記10)
対象物に関する第1の位置情報を推定することと、
対象物に関する第2の位置情報を推定することと、
前記第1の位置情報と前記第2の位置情報とに基づいて、前記第1の位置情報により位置が推定される対象物と前記第2の位置情報により位置が推定される対象物との対応付けを判定することと、
前記第2の位置情報の確度情報と前記対応付けの判定結果に基づいて、対象物の正解位置情報と、前記正解位置情報の重み付け情報を算出することと、
前記正解位置情報と前記重み付け情報とに基づいて、前記第1の位置情報を推定するためのパラメータを更新することと、
を含む、位置推定方法。
(付記11)
対象物に関する第1の位置情報を推定することと、
対象物に関する第2の位置情報を推定することと、
前記第1の位置情報と前記第2の位置情報とに基づいて、前記第1の位置情報により位置が推定される対象物と前記第2の位置情報により位置が推定される対象物との対応付けを判定することと、
前記第2の位置情報の確度情報と前記対応付けの判定結果に基づいて、対象物の正解位置情報と、前記正解位置情報の重み付け情報を算出することと、
前記正解位置情報と前記重み付け情報とに基づいて、前記第1の位置情報を推定するためのパラメータを更新することと、
をプロセッサに実行させるプログラム。
(付記12)
対象物に関する第1の位置情報を推定することと、
対象物に関する第2の位置情報を推定することと、
前記第1の位置情報と前記第2の位置情報とに基づいて、前記第1の位置情報により位置が推定される対象物と前記第2の位置情報により位置が推定される対象物との対応付けを判定することと、
前記第2の位置情報の確度情報と前記対応付けの判定結果に基づいて、対象物の正解位置情報と、前記正解位置情報の重み付け情報を算出することと、
前記正解位置情報と前記重み付け情報とに基づいて、前記第1の位置情報を推定するためのパラメータを更新することと、
をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体。
この出願は、2019年5月13日に出願された日本出願特願2019-090646を基礎とする優先権を主張し、その開示の全てをここに取り込む。
例えばカメラや電波センサなど複数のセンサを用いて推定される位置情報等を連携させて高精度化する、複数の位置情報の統合(センサフュージョン)を行う位置推定システムにおいて、精度良く位置情報を推定することができる。
100、101、102 位置推定システム
32、110 第1の位置推定部
42、120 第2の位置推定部
71、130 対応付け判定部
72、82、140 重み算出部
33、43、63、150 パラメータ更新部

Claims (10)

  1. 対象物に関する第1の位置情報を推定する第1の位置推定手段と、
    前記第1の位置推定手段とは異なる位置推定手法により、対象物に関する第2の位置情報を推定する第2の位置推定手段と、
    前記第1の位置情報と前記第2の位置情報とに基づいて、前記第1の位置情報により位置が推定される対象物と前記第2の位置情報により位置が推定される対象物との対応付けを判定する対応付け判定手段と、
    前記第2の位置情報の確度情報に基づいて、前記第2の位置情報の重み付け情報を算出する重み算出手段と、
    前記対応付けの判定結果と前記重み付け情報に基づいて、前記第2の位置情報を対象物の正解位置情報として判定する重み付け判定手段と、
    前記対応付け判定手段の対応付けの判定結果に基づいて前記第1の位置情報と前記第2の位置情報とを統合して前記対象物の位置を推定するにあたり、前記正解位置情報と前記重み付け情報とに基づいて、前記対象物の位置推定精度の向上のため前記第1の位置情報推定に用いられるパラメータを更新するパラメータ更新手段と、
    を備える、位置推定システム。
  2. 前記パラメータ更新手段は、前記第1の位置情報を推定するために用いられるパラメータを更新する際に、前記正解位置情報と前記重み付け情報を用いて、学習データとしての正解値を重み付けすることにより前記パラメータを更新する、請求項1記載の位置推定システム。
  3. 前記重み算出手段は、前記第2の位置情報の確度情報に含まれる確率分布モデルに基づいて、前記確率分布モデルの方向軸の傾きと、前記方向軸ごとに対応する重み付け値を算出する、請求項1または2記載の位置推定システム。
  4. 前記パラメータ更新手段は、前記重み付け情報の傾きに対応する重み付け値から前記第1の位置推定手段により前記第1の位置情報を推定するために用いられるパラメータに影響する重み付け成分を算出し、その算出した成分を対応する正解位置情報に重み付けする請求項3記載の位置推定システム。
  5. 前記方向軸は、角度方向と高度方向と奥行方向の少なくとも2つの方向軸を含む請求項3または4記載の位置推定システム。
  6. 前記対応付け判定手段は、前記第1の位置情報の確度情報と前記第2の位置情報の確度情報から、前記対応付けの判定基準を算出する請求項1乃至5のうちいずれか1項記載の位置推定システム。
  7. 前記対応付け判定手段は、前記第1の位置情報と前記第2の位置情報との比較から位置推定精度を学習し、学習した位置推定精度を用いて前記対応付けの判定基準を更新する請求項1乃至5のうち何れか1項記載の位置推定システム。
  8. 前記第1の位置情報と前記第2の位置情報と前記第1の位置情報の確度情報と前記第2の位置情報の確度情報を用いて、統合した位置情報を算出する位置情報統合手段をさらに備える請求項1乃至7のうちいずれか1項記載の位置推定システム。
  9. 前記重み算出手段は、前記第1の位置情報と前記第2の位置情報と前記第1の位置情報の確度情報と前記第2の位置情報の確度情報を用いて、前記重み付け情報を算出する請求項1乃至8のうちいずれか1項記載の位置推定システム。
  10. 対象物に関する第1の位置情報を推定することと、
    前記第1の位置情報を推定することとは異なる位置推定手法により、対象物に関する第2の位置情報を推定することと、
    前記第1の位置情報と前記第2の位置情報とに基づいて、前記第1の位置情報により位置が推定される対象物と前記第2の位置情報により位置が推定される対象物との対応付けを判定することと、
    前記第2の位置情報の確度情報に基づいて、前記第2の位置情報の重み付け情報を算出することと、
    前記対応付けの判定結果と前記重み付け情報に基づいて、前記第2の位置情報を対象物の正解位置情報として判定することと、
    前記対応付けの判定結果に基づいて前記第1の位置情報と前記第2の位置情報とを統合して前記対象物の位置を推定するにあたり、前記正解位置情報と前記重み付け情報とに基づいて、前記対象物の位置推定精度の向上のため前記第1の位置情報の推定に用いられるパラメータを更新することと、
    を含む、位置推定方法。
JP2021519369A 2019-05-13 2020-04-30 位置推定システム、位置推定方法、プログラム、及び記録媒体 Active JP7384199B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019090646 2019-05-13
JP2019090646 2019-05-13
PCT/JP2020/018248 WO2020230645A1 (ja) 2019-05-13 2020-04-30 位置推定システム、位置推定方法、プログラム、及び記録媒体

Publications (3)

Publication Number Publication Date
JPWO2020230645A1 JPWO2020230645A1 (ja) 2020-11-19
JPWO2020230645A5 JPWO2020230645A5 (ja) 2022-02-08
JP7384199B2 true JP7384199B2 (ja) 2023-11-21

Family

ID=73290136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519369A Active JP7384199B2 (ja) 2019-05-13 2020-04-30 位置推定システム、位置推定方法、プログラム、及び記録媒体

Country Status (3)

Country Link
US (1) US20220206103A1 (ja)
JP (1) JP7384199B2 (ja)
WO (1) WO2020230645A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113841068B (zh) * 2019-05-16 2024-07-12 三菱电机株式会社 信息处理装置、信息处理方法及存储介质
JP7481237B2 (ja) * 2020-11-24 2024-05-10 日立Astemo株式会社 物標検出装置
JP7154459B1 (ja) * 2021-12-14 2022-10-17 三菱電機株式会社 センサシステム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098031A (ja) 1998-09-22 2000-04-07 Hitachi Ltd インパルスソーナー
JP2000329852A (ja) 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
WO2010095437A1 (ja) 2009-02-19 2010-08-26 パナソニック株式会社 物***置推定システム、物***置推定装置、物***置推定方法、及び物***置推定プログラム
JP2010249613A (ja) 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP2016206721A (ja) 2015-04-15 2016-12-08 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
WO2017017766A1 (ja) 2015-07-27 2017-02-02 日産自動車株式会社 物体検出方法及び物体検出装置
JP2019015598A (ja) 2017-07-06 2019-01-31 株式会社東芝 計測装置および方法
JP2019015606A (ja) 2017-07-06 2019-01-31 本田技研工業株式会社 情報処理方法及び情報処理装置
WO2019151489A1 (ja) 2018-02-02 2019-08-08 日本電気株式会社 センサ情報統合システム、センサ情報統合方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249252B1 (en) * 1996-09-09 2001-06-19 Tracbeam Llc Wireless location using multiple location estimators
US6420999B1 (en) * 2000-10-26 2002-07-16 Qualcomm, Inc. Method and apparatus for determining an error estimate in a hybrid position determination system
KR102280610B1 (ko) * 2014-04-24 2021-07-23 삼성전자주식회사 전자 장치의 위치 추정 방법 및 장치
WO2016094681A1 (en) * 2014-12-10 2016-06-16 Rivada Research LLC Method and system for providing enhanced location based information for wireless handsets
US20160298969A1 (en) * 2015-04-08 2016-10-13 Exactigo, Inc. Graceful sensor domain reliance transition for indoor navigation
US10254379B2 (en) * 2017-02-08 2019-04-09 Nextnav, Llc Systems and methods for estimating a position of a receiver
EP3743685A1 (en) * 2018-01-26 2020-12-02 Situm Technologies, S.L. Positioning methods and systems
US10282574B1 (en) * 2018-03-06 2019-05-07 Motorola Mobility Llc Location correction apparatus and method in a real-time locating system
CN113029129B (zh) * 2021-03-25 2022-10-11 北京百度网讯科技有限公司 车辆的定位信息的确定方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098031A (ja) 1998-09-22 2000-04-07 Hitachi Ltd インパルスソーナー
JP2000329852A (ja) 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
WO2010095437A1 (ja) 2009-02-19 2010-08-26 パナソニック株式会社 物***置推定システム、物***置推定装置、物***置推定方法、及び物***置推定プログラム
JP2010249613A (ja) 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP2016206721A (ja) 2015-04-15 2016-12-08 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
WO2017017766A1 (ja) 2015-07-27 2017-02-02 日産自動車株式会社 物体検出方法及び物体検出装置
JP2019015598A (ja) 2017-07-06 2019-01-31 株式会社東芝 計測装置および方法
JP2019015606A (ja) 2017-07-06 2019-01-31 本田技研工業株式会社 情報処理方法及び情報処理装置
WO2019151489A1 (ja) 2018-02-02 2019-08-08 日本電気株式会社 センサ情報統合システム、センサ情報統合方法及びプログラム

Also Published As

Publication number Publication date
JPWO2020230645A1 (ja) 2020-11-19
US20220206103A1 (en) 2022-06-30
WO2020230645A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
JP7384199B2 (ja) 位置推定システム、位置推定方法、プログラム、及び記録媒体
US9989626B2 (en) Mobile robot and sound source position estimation system
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US8243136B2 (en) Tag sensor system and sensor device, and object position estimating device and object position estimating method
US8831778B2 (en) Method of accurate mapping with mobile robots
EP1790993A2 (en) Method for recognizing location using built-in camera and device thereof
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
JP4880805B2 (ja) 物***置推定装置、物***置推定方法、及び、物***置推定プログラム
JP2008527394A (ja) マルチパス信号を用いて位置決めを行うためのシステム及び方法
JP2011214920A (ja) 位置推定装置、位置推定方法及びプログラム
CN107923743A (zh) 基于海拔的室内或室外检测
KR20130047386A (ko) 무선 통신 단말의 위치 측정 장치, 위치 측정 방법 및 핑거프린트 정보 수집 방법, 핑거프린트 서버 및 그의 위치 제공 방법
KR100699083B1 (ko) 위치 추정 방법
CN110675341B (zh) 一种单目光视觉引导的水下机器人与海底平台对接方法
JP6977787B2 (ja) センサ情報統合システム、センサ情報統合方法及びプログラム
CN110506400A (zh) 蓝牙设备***
US10444332B2 (en) Method and system for calibrating a network of multiple horizontally scanning range finders
CN105629196A (zh) 基于计算机视觉及动态指纹的定位***及相应方法
KR100752580B1 (ko) 위치 추정 방법
JP2014102256A (ja) 目標追尾装置及び目標追尾方法
CN116027266A (zh) Uwb与视觉紧耦合slam算法的定位方法及***
US11761765B2 (en) Calibrating a pressure sensor
CN112344966B (zh) 一种定位失效检测方法、装置、存储介质及电子设备
CN114111785B (zh) 一种基于rir倒谱提取一阶回波的声slam***及方法
US12038280B2 (en) Calibrating a pressure sensor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R151 Written notification of patent or utility model registration

Ref document number: 7384199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151