JP7456590B2 - 追跡装置、及び追跡プログラム - Google Patents
追跡装置、及び追跡プログラム Download PDFInfo
- Publication number
- JP7456590B2 JP7456590B2 JP2020038879A JP2020038879A JP7456590B2 JP 7456590 B2 JP7456590 B2 JP 7456590B2 JP 2020038879 A JP2020038879 A JP 2020038879A JP 2020038879 A JP2020038879 A JP 2020038879A JP 7456590 B2 JP7456590 B2 JP 7456590B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- likelihood
- particles
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002245 particle Substances 0.000 claims description 283
- 238000000034 method Methods 0.000 claims description 49
- 238000013507 mapping Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 29
- 239000013598 vector Substances 0.000 description 18
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 14
- 238000012952 Resampling Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000000691 measurement method Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000238421 Arthropoda Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
人の生活環境内で動作するためには、追跡対象である人や避けるべき障害物といった周辺環境を把握する必要がある。
このような技術に特許文献1の「自律移動ロボット、自律移動ロボットの制御方法および制御プログラム」がある。
この技術は、追跡対象である人の移動先を予測するとともに、人を撮影するカメラの視界を遮る障害物の移動先を予測し、障害物が人を遮蔽する場合に撮影される人の面積が大きくなるようにカメラの視界を変更するものである。
(2)また本発明では、対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を3次元空間内に発生する粒子発生機能と、前記対象を撮影する撮影機能と、前記撮影した画像に前記発生させた粒子を写像する写像機能と、前記写像した粒子の前記画像内での位置に基づいて検出領域を設定して、前記撮影した対象を画像認識する画像認識機能と、前記画像認識の結果に基づいて前記発生させた粒子の尤度を取得する尤度取得機能と、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡手段と、をコンピュータで実現し、前記粒子発生機能は、前記対象が移動する平面に平行な平面に沿って、逐次、前記更新した確率分布に基づいて粒子を発生させる追跡プログラムを提供する。
追跡装置1(図2)は、追跡ロボットの左右に配設された全天球カメラ9a、9bを備えている。
追跡装置1は、全天球カメラ9aで撮影した左全天球カメラ画像を球体オブジェクト30a(図3(a))に張り付け、球体オブジェクト30a(図3(a))の内部に仮想カメラ31aを設ける。
仮想カメラ31aは、球体オブジェクト30aの内部に形成された仮想的な撮影空間で自在に回転し、外界の左カメラ画像を取得することができる。
追跡装置1は、同様にして全天球カメラ9bで撮影した右全天球カメラ画像から右カメラ画像を取得する仮想カメラ31bも設け、仮想カメラ31a、31bによって輻輳ステレオカメラを構成する。
追跡装置1は、対象者8の存在する空間に3次元的に粒子を発生させるが、対象者8は、歩行者を想定しており、歩行面に平行に移動するため、対象者8の胴体程度の高さの歩行面に平行な平面で、対象者8を中心とする円形領域32あたりに粒子を多数発生させる。
即ち、発生させた粒子を、それぞれ左右のカメラ画像に投影し、左カメラ画像と右カメラ画像に写像された粒子を対応づけて、これらが3次元空間で同一の粒子であることを識別できるようにする。
追跡装置1は、画像認識の結果から左カメラ画像での尤度と右カメラ画像での尤度を基に、対象者8の存在する実空間に発生させた粒子の尤度とする。例えば、追跡装置1は、左カメラ画像での尤度と右カメラ画像での尤度を平均して、対象者8の存在する実空間に発生させた粒子の尤度とする。
この確率分布によって、3次元実空間で、対象者8がどのあたりの空間(ここでは、胴体の高さ程度に粒子を散布するため、胴体の存在する空間)に、どの程度の確率で存在するかを推定することができる。
これによって、対象者8の位置(確率密度の高い場所)を得ることができる。
即ち、重みの大きい粒子の周りでは、多く粒子を乱数的に発生させ、重みの小さい粒子に対しては、粒子を発生させない(あるいは、少なく発生させる)。
これによって、現在の対象者8の確率分布に対応する粒子の密度(濃淡)の分布が得られる。
この追跡装置1は、この処理を繰り返すことにより、対象者8の現在の位置(即ち、最新の確率分布)を追跡することができる。
そして、追跡装置1は、仮想カメラ31a、31bで対象者8の存在する確率の高い場所を輻輳視して測量することにより、対象者8までの距離dと、対象者8の存在する角度θを計算し、これに基づいて追跡ロボットの移動を制御する。
なお、対象者8の位置は、(d、θ、高さz)の円筒座標系で表されるが、歩行者の高さzは、一定と考えられるため、(d、θ)によって対象者8の位置を表した。
仮想カメラ31a、31bを上下に設けることにより、対象者8の歩行環境を360度死角無く撮影・測量することができる。
(第1実施形態)
図1の各図は、第1実施形態に係る追跡ロボット12の外見例を表した図である。
追跡ロボット12は、追跡対象を認識してこれを後方から追跡する自律移動型の追跡ロボットである。
以下では、追跡対象を主に歩行者とする。これは、一例であって、追跡対象を、車両やドローンといった飛行体など、その他の移動体とすることができる。
例えば、散歩する児童や高齢者を見守ったり、担当者に追随して作業現場や災害現場などに入って情報収集したり、家畜などの動物を追跡して監視・観察したり、対象者が制限エリアに侵入しないように追跡・監視したりなどすることができる。
なお、これら車輪は、ブルドーザーなどで利用されている無限軌道や、昆虫の節足部のような脚構造としても良い。
撮影部11は、水平方向に30cm程度離れて設置された2つの全天球カメラ9a、9bを有している。以下、これらを特に区別しない場合は単に全天球カメラ9と略記し、他の構成要素も同様とする。
追跡ロボット12aは、当該測量結果に基づいて追跡対象の後方で移動し、これを追尾する。
追跡ロボット12bは、進行方向を長手方向とする筐体20を備えている。筐体20は、コンピュータ、通信装置、バッテリ、駆動装置などを収納する他、例えば、荷台、収納ボックス、鞍型の着座部を装備することが可能である。
筐体20の上面先端部分には、追跡ロボット12aと同様の撮影部11が設けられている。
更に、追跡ロボット12bは、駆動輪を構成する一対の後輪21と、方向転換を行って、追跡方向を案内する一対の前輪22を具備している。これら車輪は、無限軌道や脚構造としても良い。
筐体25の上面には追跡装置1を浮揚する複数のプロペラ26が設けられており、底面の下に撮影部11が懸架されている。追跡ロボット12cは、空中を浮揚・飛行しながら目標を追跡する。
例えば、風邪が流行しているときに、マスクをしていない人を追跡して、搭載した拡声器から「マスクをしましょう」などと、注意を促すことができる。
追跡装置1は、CPU(Central Processing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、GPU(Graphics Processing Unit)5、撮影部11、記憶部10、制御部6、駆動装置7などがバスラインで接続されて構成されている。
追跡装置1は、対象者8の位置をステレオカメラ画像を用いた画像認識によって3次元的に追跡する。ここでは、対象者8として歩行者を想定する。
ROM3は、CPU2が追跡装置1を動作させるための基本的なプログラムやパラメータなどを記憶した読み取り専用のメモリである。
撮影部11が撮影した画像は、RAM4に展開されてCPU2により利用される。
GPU5は、複数の計算を同時に並行して行う機能を有する演算装置であり、本実施形態では、多数発生させた粒子に基づく粒子ごとの画像処理を、高速に並列処理するのに用いる。
全天球カメラ9a、9bは、所定の距離(ここでは30cm程度)を水平方向に離れて設置されており、対象者8をステレオ視した画像を取得する。
対象者8が追跡装置1の正面にいる場合、全天球カメラ9aが対象者8の左側に位置し、全天球カメラ9bが右側に位置する。対象者8が追跡装置1の背後に回った場合は、左右が逆転する。
対象者8が追跡装置1の背面側に位置する場合は、説明の左右を読み替えれば良い。
駆動装置7は、車輪を駆動するモータなどで構成されており、制御部6は、CPU2からの信号に基づいて駆動装置7を制御して走行速度や旋回方向などを調節する。
全天球カメラ9aは、2枚の魚眼レンズを組み合わせて構成されており、これらで撮影した左全天球カメラ画像を、図3(a)に示した球体オブジェクト30aの表面に張り付けることにより、2つの魚眼カメラ画像を1つの球体で構築する。
これにより、表面が全天球カメラ9aの周囲360度の景色となった地球儀のようなオブジェクトができる。
これにより、矢線で示したように、球体オブジェクト30a内で仮想カメラ31aを任意の方向に任意の量だけパンしたりチルトしたりすることができる。
このように、球体オブジェクト30aの内部が、仮想カメラ31aの仮想的な撮影空間となっている。
なお、球体オブジェクト30aの中に複数の仮想カメラ31aを設けて、これらを独立に回転させて複数の撮影方向の左カメラ画像を同時に取得することも可能である。
例えば、以下では、単数の対象者8を追跡する場合について説明するが、対象者8の人数だけ仮想カメラ31a、31a、…を形成し、複数人を同時に独立して追跡することも可能である。
図示しないが、全天球カメラ9bで右全天球カメラ画像を取得して球体オブジェクト30bに張り付け、仮想カメラ31bにより、仮想的な撮影空間で周囲の景色を撮影することができる。
これを仮想カメラ31aで撮影すると、図3(c)に示したように、歪みの少ない机の左カメラ画像が得られる。このように、仮想カメラ31aを用いると、一般の画像認識で用いられている2次元のカメラ画像が得られるため、通常の画像認識技術を適用することができる。
本実施形態では、仮想カメラ31a、31bを仮想的なピンホールカメラで構成したが、これは一例であって、魚眼レンズ画像を平面画像に変換する他の方法を用いても良い。
ここで、仮想カメラ31a、31bは、対象を撮影する撮影手段として機能している。
追跡装置1は、対象者8を追跡するため、カメラを用いて対象者8の3次元空間(歩行空間)における位置を計測する必要がある。
このような計測方法には、主に次の3手法がある。
単眼方式による幾何補正では、単眼のカメラの設置位置とカメラ画像における対象33の幾何学的な状態(対象の写り方)によって距離を求める。
例えば、カメラ画像の底辺に対する対象33の立ち位置によって対象33までの距離が分かり、図の例では、対象33までの距離が1m、2m、3mの場合の立ち位置を横線にて示している。
また、カメラ画像の上記横線上での左右位置により、対象33が存在する方位を得ることができる。
視差ステレオ方式では、正面に向けた一対のカメラ35a(左カメラ)とカメラ35b(右カメラ)を左右の所定距離に固定し、対象33に対するカメラ35a、35bからの視差によって、対象33を立体視・三角測量する。
図に示したように、視差ステレオ方式では、対象33と基線が構成する太線で示した大きな方の三角形と、撮像面に形成された視差による底辺とレンズの中心が構成する太線で示した小さい方の三角形の相似関係から対象33の距離と方位を求めることができる。
例えば、対象までの距離をZ、基線長をB、焦点距離をF、視差長をDとすると、Zは、式(1)で表される。方位も相似関係から求めることができる。
輻輳とは、いわゆる寄り目を行う動作を意味し、左右の所定距離に配置した一対のカメラ36a(左カメラ)、カメラ36b(右カメラ)で対象33を輻輳視することにより、対象33を立体視・測量する。
図に示したように、輻輳ステレオ方式では、右カメラと左カメラの撮影方向をそれぞれ対象33に向け、基線長をB、左カメラから対象33までの距離をdL、左カメラレンズの光軸と前方との角度をθL、右カメラレンズの光軸と前方との角度をθR、輻輳ステレオカメラに対する対象33の方位をθ、輻輳ステレオカメラから対象33までの距離をdとすると、幾何学的な関係からdLは、式(2)で表され、これによってdは式(3)で求めることができる。方位に相当する角度θも同様に幾何学的な関係から求めることができる。
なお、文字コードの誤変換(いわゆる文字化け)を防止するため、図で表した下付文字や上付文字を通常の文字で表記する。以下で説明する他の数式も同様とする。
視差ステレオ方式と輻輳ステレオ方式が単眼方式に比べて優れていることは明らかであるので、単眼方式については説明を省略する。
図5(a)に示したように、視差ステレオ方式では、カメラ35a、35bの撮影方向が前方に固定されている。そのため、カメラ35aによる撮影領域37aと、カメラ35bによる撮影領域37bも固定され、その共通の撮影領域37cが測量可能な領域となる。
例えば、図5(b)に示したように、対象33がカメラ正面の近距離にあり、撮影領域37cの外に存在する場合であっても、矢線で示したように左右の仮想カメラ31で対象33を輻輳視することにより位置と方位を測量することができる。
このように、輻輳ステレオ方式は、視差ステレオ方式に比べて測量できる領域が広く、自由に動き回って歩行状態が頻繁に変化する歩行者を近距離から追跡するのに適している。
そこで、本実施形態では、全天球カメラ9a、9bに仮想カメラ31a、31bを形成し、これによって対象者8を輻輳視することとした。
そして、当該撮影手段は、左広角画像(左全天球カメラ画像)から任意の方向の左カメラ画像を取得する仮想的なカメラ(仮想カメラ31a)で左カメラを構成するとともに、右広角画像(右全天球カメラ画像)から任意の方向の右カメラ画像を取得する仮想的なカメラ(仮想カメラ31b)で右カメラを構成している。
更に、追跡装置1は、左カメラと右カメラが、左広角画像と右広角画像からそれぞれ左カメラ画像と右カメラ画像を取得する仮想的な撮影空間(球体オブジェクト30a、30bによる撮影空間)で撮影方向を移動することができる。
まず、粒子フィルタリングでは、観測対象の存在する可能性のある場所に多数の粒子を発生させる。
そして、各粒子について何らかの手法で尤度を観測し、観測した尤度に従って各粒子を重み付けする。尤度は、その粒子に基づいて観測した場合、その観測したものが、どの程度の観測対象であるかという確からしさに相当する。
リサンプリングでは、例えば、重み付けの小さかった粒子を間引いて重み付けの大きかった粒子を残し、残った粒子の付近で新たな粒子を発生させて、発生させた各粒子について、現時点での尤度を観測して重み付けする。これにより、確率分布が更新されて、確率密度の大きい場所、即ち、観測対象が存在する可能性の高い場所を更新することができる。
以降、リサンプリングを繰り返し、観測対象の位置の時系列的な変化を追跡することができる。
追跡装置1は、粒子フィルタを用いて対象者8の存在する位置の確率分布を推測する。
一般に行われている粒子フィルタを用いた画像認識では、2次元のカメラ画像において粒子を発生させるが、それに対し、追跡装置1は、対象者8が存在する3次元空間内で粒子を発生させて、これら3次元的な粒子を左右のカメラ画像に写像して投影することにより、立体情報を含めて対象者8を画像認識する。
一方、追跡装置1は、3次元空間の同じ粒子に左右のカメラを向けて撮影した左カメラ画像と右カメラ画像による画像認識を行うため、左右のカメラで同一の領域を観測することができ、これによって効果的に対象者8の探索を行うことができる。
なお、ドローンや鳥類など、追跡対象が高さ方向にも移動し、3次元的な動きをする場合は、3次元的に粒子を散布すれば、これを追跡することができる。
対象者8が歩行する平面(歩行面)にxy座標系を設定し、高さ方向をz軸とする。撮影部11は、対象者8の胴体あたりの高さ(1m程度)に位置している。
本実施形態では、粒子を500個発生させた。実験によると、粒子の個数が50程度から追跡可能である。
なお、ここでは、円形領域32を含む平面上で粒子を発生させたが、高さ方向(z軸方向)に幅をもたせた厚みのある空間に分布するように構成することもできる。
また、当該粒子発生手段は、対象が移動する平面に平行な平面に沿って粒子を発生させている。
更に、リサンプリングによって、対象者8の移動に伴う確率分布の時系列的な変化を追うため、粒子発生手段は、逐次、前回の更新した確率分布に基づいて今回の粒子を発生させている。
なお、円形領域32において粒子を一様に発生させるなど、他の発生方法を採用しても良い。
対象者8が存在する場所の粒子の尤度が高くなるため、これをリサンプリングすることにより、対象者8の位置に応じた確率分布を得ることができる。
追跡装置1は、以上のようにして発生させた粒子をリサンプリングすることにより、対象者8を追跡する。
図の黒点で示したように、対象者8を中心とする円形領域32に粒子を発生させるが、これらのz座標値は一定であるため、追跡装置1は、利便性のために、これら粒子や対象者8の位置を(d、θ)座標による極座標で表すことにした。なお、xy座標で表しても良い。
このように、追跡装置1は、対象者8が移動する3次元空間で撮影の奥行き方向にも粒子を発生させるため、追跡対象の運動状態や周囲の環境を考慮した任意の分布で粒子を発生させることが可能である。
追跡装置1は、上のように発生させた粒子を、図7(a)に示したように、関数g(d、θ)、f(d、θ)を用いて、カメラ画像71a(左カメラ画像)とカメラ画像71b(右カメラ画像)のカメラ画像座標系に写像する。
カメラ画像座標系は、例えば、画像の上左隅を原点とし、水平右方向をx軸、鉛直下方向をy軸とする2次元座標系である。
そして、当該写像手段は、発生させた粒子の左カメラ画像、及び右カメラ画像での位置を所定の写像関数で計算して取得している。
なお、これら写像関数は、輻輳ステレオ視の関係式と、仮想カメラ31で取得したカメラ画像の1ピクセルごとの角度を算出することにより導くことができる。
このように、写像手段は、左カメラと右カメラでそれぞれ撮影した左カメラ画像と右カメラ画像に実空間で発生させた粒子を対応づけて写像している。
このように、粒子41、42、43、…は、状態パラメータを成分にもつ状態ベクトルによって表される。
ここでは、検出領域61a、61bを、写像後の粒子51a、51bが矩形の重心となるように設定する。これは一例であって、検出領域61の位置を固定値や関数によって粒子51の位置からオフセットするように構成することもできる。
このように、追跡装置1は、写像した粒子のカメラ画像内での位置に基づいて検出領域を設定して、撮影した対象を画像認識する画像認識手段を備えている。
そのため、追跡装置1では、追跡前に対象者8の身長に合わせて検出領域61のサイズを設定し、固定したサイズの検出領域61a、61bを使用することとした。
この場合は、(x座標値、y座標値、サイズ)という状態ベクトル空間で粒子を発生させることになる。
即ち、xy座標値が同じでもサイズが異なれば異なる粒子となり、それぞれに対して尤度を観測する。これによって、サイズが画像認識に適した粒子の尤度が大きくなり、これによって検出領域61の最適なサイズも決定することができる。
例えば、尤度を第1の方法によって計算する尤度1と、第2の方法によって計算する尤度2があり、前者をα、後者を(α-1)の割合で組み合わせて(例えば、0<α<1とする)両者を合成した尤度を計算したい場合は、状態ベクトルを(x座標値、y座標値、サイズ、α)とする。
αを用いた尤度の合成については、HOG特徴量による尤度と色分布特徴による尤度を組み合わせる例について後に触れる。
カメラ画像71bに対しても、粒子41、42、…を、粒子51b、52b、…に写像し、これに基づいて検出領域61b、62b、…を設定する。
このように、追跡装置1は、対象者8が歩行している立体的な空間に発生させた粒子を左右一対のステレオカメラ画像に写像し、2次元のカメラ画像に写像した粒子の左尤度と右尤度を介して、写像元の粒子の尤度を計算する。
また、右尤度と左尤度のうち、尤度が高いものを写像元の尤度とするなど、左尤度と右尤度の少なくとも一方を用いて統合した尤度を求めれば良い。
そして、追跡装置1は、画像認識の結果に基づいて発生させた粒子の尤度を取得する尤度取得手段を備えており、当該尤度取得手段は、左カメラ画像の画像認識に基づく第1の尤度(左尤度)と、右カメラ画像の画像認識に基づく第2の尤度(右尤度)の少なくとも一方を用いて尤度を取得している。
また、仮想カメラ31は、ソフトウェアによって形成されているため、機械的な駆動が必要なく、高速に撮影方向を切り替えて粒子41、42、…を撮影することができる。
あるいは、複数の仮想カメラ31、31、…を設定し、これらを並列的に駆動して、一度に複数のステレオカメラ画像を取得するように構成することもできる。
図示しないが、同様に、仮想カメラ31bを粒子41に向けて撮影すると、粒子41が画像の中心の粒子51bに写像されたカメラ画像81bが得られる。
追跡装置1は、カメラ画像81a、81bで画像認識して粒子51a、51bによる左尤度と右尤度を求めて、これを平均して粒子41の尤度を求める。
追跡装置1は、この処理を繰り返して、粒子41、42、43、…の尤度を計算する。
以上、対象者8が歩行する3次元空間に発生させた粒子を左右のカメラ画像に写像する2つの方法について説明したが、以下では、前者の方法で写像する場合について説明する。なお、後者の方法を用いて写像しても良い。
上で説明したように、追跡装置1は、図8(a)に示したように、カメラ画像71aにおいて、検出領域61aによる画像認識を行い、これによって、粒子51aの左尤度を計算する。そして、図示しないカメラ画像71bにおいて、検出領域61bによる画像認識を行い、これによって、粒子51bの右尤度を計算する。
追跡装置1は、この計算を繰り返し、対象者8の周囲に3次元的に散布した粒子42、43、…の尤度を計算する。
図8(b)は、重み付けを行った後の粒子41、42、43、…を示しており、重み付けが大きいほど黒点の大きさが大きくなるように表している。
図の例では、粒子41の重みが最も大きく、その周辺の粒子の重みも大きくなっている。
重みのピークの位置に追跡対象がいると推測したり、あるいは、重みが上位5%の範囲に追跡対象が存在すると推測したりなど、推定の仕方は、各種のものが可能である。
このように、追跡装置1は、取得した尤度に基づいて確率分布を更新することにより対象の存在する位置を追跡する追跡手段を備えている。
図8(c)の例では、最も尤度が大きかった粒子41に仮想カメラ31a、31bを向けている。
このように、追跡装置1は、更新した確率分布に基づいて左カメラと右カメラの撮影方向を対象の方向に移動する撮影方向移動手段を備えている。
このように、確率密度の高い場所に仮想カメラ31a、31bを向けることにより、対象者8をカメラの正面に捉えることができる。
このように、追跡装置1は、確率分布に基づいて移動した左カメラと右カメラの撮影方向に基づいて対象の存在する位置を測量する測量手段と、当該測量した測量結果を出力する出力手段を備えており、更に、当該出力した測量結果に基づいて駆動装置7を駆動し、これによって対象と共に移動する移動手段を備えている。
本実施形態では、一例として、対象者8の速度情報を考慮した、図8(d)の式(4)に基づいて状態を遷移させた(リサンプリングのための粒子を発生させた)。
ここで、xtは、時刻tにおける粒子の位置を表し、xt-1は、時刻t-1における粒子の位置を表している。
N(0、σ2)は、ノイズの項であって、粒子の位置での分散σ2の正規分布を表している。
σ2は、式(5)で表したように、速度が大きいほど対象者8の移動量が大きくなるため、これに応じて分散が大きくなるように設定した。
尤度の計算には、任意の手法を用いることが可能であるが、ここでは、一例としてHOG特徴量を用いる例について説明する。この計算方法を右尤度と左尤度の計算に利用することができる。
HOG特徴量は、輝度勾配分布を用いた画像特徴量であって、対象のエッジを検出する技術である。例えて言えば、対象をエッジによるシルエットで認識するものである。
図9(a)左図に示した画像101は、検出領域によってカメラ画像から抽出した画像を示している。
まず、画像101を矩形のセル102a、102b、…に分割する。
次に、図9(a)右図に示したように、セル102ごとに各画素(ピクセル)の輝度勾配方向(低輝度から高輝度に向かう方向)を例えば8方向に量子化する。
そして、セル102をいくつか集めたブロック単位でヒストグラム106の合計度数が1となるように正規化する。
このようにして正規化したヒストグラム106a、106b、…(図示しない)を図9(c)のように一列に並べたヒストグラム107が画像101のHOG特徴量である。
まず、HOG特徴量の度数(M個あるとする)を成分とするベクトルφ(x)を考える。ここで、xは、画像101を表すベクトルであり、x=(第1番目の画素の輝度、第2番目の画素の輝度、…)である。
なお、ベクトルは太字などで表すが、文字コードの誤変換防止のため、以下では、通常の文字で表す。
なお、図では簡単化のためHOG特徴量空間を2次元空間で表してある。
一方、Fは、人物画像の学習によって得た重みベクトルであり、多数の人物画像のHOG特徴量を平均化したベクトルである。
Fとφ(x)は、規格化されており、Fとφ(x)の内積で定義される相関係数は、画像101が学習画像に類似するほど1に近づき、類似程度が低いほど-1に近づく。
このように、類似判断の対象となる画像をHOG特徴量空間に写像することにより、学習画像に類似している画像と類似していない画像を輝度勾配分布により分離することができる。
この相関係数を尤度として用いることができる。
例えば、画像101は、色々な色成分(色1、色2、…)を有する画素から構成されている。
これら色成分の出現頻度からヒストグラムを作成すると、その度数を成分とするベクトルqが得られる。
一方、対象者8を用いて予め用意した追跡対象モデルについても同様のヒストグラムを作成し、その度数を成分とするベクトルpを作成する。
画像101の画像が追跡対象モデルに類似する場合、qは、pの周辺に分布し、類似しない場合は、pとは異なる方向に分布する。
このように、類似判断の対象となる画像を色特徴量空間に写像することにより、追跡対象モデルに類似している画像と類似していない画像を色特徴量分布により分離することができる。
この相関係数を尤度して用いることもできる。
HOG特徴量と色分布特徴は、認識が得意なシーン(場面)と不得意なシーンがあり、これらを組み合わせることにより、画像認識の頑健性を向上させることができる。
この場合、先に説明したパラメータαを用いて(実験により0.25<α<0.75とした)、α×(HOG特徴量による類似度)+(1-α)×(色分布特徴による類似度)で尤度を定義し、αを含む状態ベクトル空間で粒子を発生させることにより、尤度を最大化するαも求めることができる。
この式によると、αが大きいほどHOG特徴量の寄与が大きくなり、αが小さくなるほど色分布特徴量の寄与が大きくなる。
そのため、αを適当に選択することにより、シーンに適した値を得ることができ、頑健性が向上する。
以下の処理は、記憶部10が記憶する追跡プログラムに従ってCPU2が行うものである。
まず、CPU2は、ユーザに対象者8の身長などを入力してもらい、これに基づいて左右の検出領域のサイズを設定し、これをRAM4に記憶する。
次に、対象者8に追跡装置1の前の所定位置に立ってもらい、CPU2は、これを仮想カメラ31a、31bで撮影して、左カメラ画像と右カメラ画像を取得してRAM4に記憶する(ステップ5)。
そして、これをそれぞれ仮想カメラ31a、31bで内側から撮影した左カメラ画像と右カメラ画像を計算によって取得してRAM4に記憶する。
この画像認識は、例えば、RAM4に記憶したサイズの検出領域を左右のカメラ画像でそれぞれスキャンして対象者8を探索するなど、一般に行われている方法を用いる。
そして、CPU2は、仮想カメラ31a、31bをそれぞれ画像認識した対象者8の方向に向ける。
そして、CPU2は、取得した対象者8の位置(d、θ)と、追跡ロボット12の正面方向と仮想カメラ31a、31bに対する角度から、追跡ロボット12に対する対象者8の位置と方向を計算し、対象者8が追跡ロボット12の正面の所定位置に位置するように、制御部6に指令を出して、追跡ロボット12を移動させる。このときCPU2は、仮想カメラ31a、31bの角度を調節して、対象者8をカメラの正面に捉えるようにする。
以下のステップ20、25で各粒子に対する処理は、GPU5にて並列処理するが、ここでは、説明を簡単にするためCPU2が行うものとする。
次に、CPU2は、左カメラ画像と右カメラ画像のそれぞれについて、写像した粒子に基づく左カメラ画像尤度と右カメラ画像尤度を計算し、これらの平均によって写像元の粒子の尤度を計算してRAM4に記憶する(ステップ25)。
まだ、計算していない粒子がある場合(ステップ30;N)、ステップ20に戻って次の粒子の尤度を計算する。
一方、全ての粒子の尤度を計算した場合(ステップ30;Y)、CPU2は、粒子の尤度に基づいて各粒子を重み付けして、粒子ごとの重みをRAM4に記憶する。
そして、CPU2は、仮想カメラ31a、31bの角度から対象者8の位置を測量計算し、計算した対象者8の座標(d、θ)をRAM4に記憶する(ステップ35)。
これに応じて制御部6は、駆動装置7を駆動して、追跡ロボット12を移動させることにより、対象者8の後について対象者8を追尾する。
この判断は、例えば、対象者8が目的地に到達した場合に、「到着しました」などと発話してもらい、これを音声認識することにより行ったり、あるいは、特定のジェスチャーをしてもらったりして行う。
例えば、追跡ロボット12に撮影部11、制御部6、及び駆動装置7を搭載し、他の構成要素を追跡装置1をサーバに備えて、追跡ロボット12とサーバを通信回線で結ぶことにより、追跡ロボット12を遠隔操作することもできる。
更に、追跡装置1にマイクロフォンとスピーカを備え、第三者が携帯端末などを介して、外部観察用の仮想カメラの画像を観察しつつ、追跡対象者と会話することも可能である。
この場合、例えば、高齢者の散歩に追跡ロボット12を同行させ、介助者が携帯端末から追跡ロボット12の周囲を観察しつつ、「車が来るので気をつけてください」などと、高齢者に声をかけることが可能となる。
第1実施形態の追跡装置1が備える撮影部11では、全天球カメラ9a、9bを左右方向に配設したが、第2実施形態の追跡装置1bが備える撮影部11bでは、これらを上下方向に配設する。
図示しないが、追跡装置1bの構成は、全天球カメラ9a、9bを上下方向に配設する他は、図2に示した追跡装置1と同様である。
図11(a)に示した追跡ロボット12dは、追跡ロボット12a(図1(a))で、全天球カメラ9a、9bを上下方向に設置したものである。
撮影部11bは、柱状部材の先端に配置されており、全天球カメラ9aが鉛直方向上側、全天球カメラ9bが鉛直方向下側に配設されている。
なお、全天球カメラ9aが全天球カメラ9bの斜め上方向に位置するように配設することも可能であり、全天球カメラ9aがある水平面の上側に位置し、全天球カメラ9bが下側に位置するように配設すればよい。
このように、追跡装置1bは、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって対象を撮影する撮影手段を備えている。
図11(b)、(c)の追跡ロボット12e、12fは、それぞれ図1(b)、(c)の追跡ロボット12b、12cに対応しており、それぞれ撮影部11bによって全天球カメラ9a、9bを上下に配設したものである。
図11(e)は、路面に高低差のある2本の柱を立てて、低い方の柱の先端に全天球カメラ9bを取り付け、高い方の柱の先端に全天球カメラ9aを取り付けて撮影部11bを構成した例である。
このように、全天球カメラ9a、9bを、別の支持部材に取り付けたり、更に、斜め上下方向に設置しても良い。
図11(f)は、家屋やビルなどの建築物の軒下に下げる形態で撮影部11bを設置した例である。
図11(h)は、車両の屋根に撮影部11bを設置した例である。前方車両の位置など、周囲の環境物の位置を取得することができる。
図11(i)は、三脚の上に撮影部11bを設置した例である。土木分野などで利用可能である。
粒子の発生方法は、第1実施形態と同じである。
図12(a)に示したように、追跡装置1bは、全天球カメラ9a、9bに設けた図示しない仮想カメラ31a、31bをz軸と対象者8を含む平面内で輻輳視すると共に、z軸の周りに回転して(回転角度をφとする)、撮影方向を対象者8に向ける。
図12(b)に示したように、追跡装置1bは、対象者8の位置を、対象者8の距離dと、仮想カメラ31a、31bのz軸の周りの回転角度φによる座標(d、φ)によって測量することができる。
(1)第1実施形態の構成
(第101構成) 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を3次元空間内に発生する粒子発生手段と、前記対象を撮影する撮影手段と、前記撮影した画像に前記発生させた粒子を写像する写像手段と、前記写像した粒子の前記画像内での位置に基づいて検出領域を設定して、前記撮影した対象を画像認識する画像認識手段と、前記画像認識の結果に基づいて前記発生させた粒子の尤度を取得する尤度取得手段と、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡手段と、を具備し、前記粒子発生手段は、逐次、前記更新した確率分布に基づいて粒子を発生させることを特徴とする追跡装置。
(第102構成) 前記粒子発生手段は、前記対象が移動する平面に平行な平面に沿って前記粒子を発生させることを特徴とする第101構成に記載の追跡装置。
(第103構成) 前記撮影手段は、左カメラと右カメラを用いた輻輳ステレオカメラによって前記対象を撮影し、前記写像手段は、前記左カメラと前記右カメラでそれぞれ撮影した左カメラ画像と右カメラ画像に前記発生させた粒子を対応づけて写像し、前記画像認識手段は、前記左カメラ画像と前記右カメラ画像でそれぞれ画像認識し、前記尤度取得手段は、前記左カメラ画像の画像認識に基づく第1の尤度と、前記右カメラ画像の画像認識に基づく第2の尤度の少なくとも一方を用いて前記尤度を取得し、更に、前記更新した確率分布に基づいて前記左カメラと前記右カメラの撮影方向を前記対象の方向に移動する撮影方向移動手段と、を具備したことを特徴とする第101構成又は第102構成に記載の追跡装置。
(第104構成) 前記移動した左カメラと右カメラの撮影方向に基づいて前記対象の存在する位置を測量する測量手段と、前記測量した測量結果を出力する出力手段と、を具備したことを特徴とする第103構成に記載の追跡装置。
(第105構成) 左広角カメラと右広角カメラから、それぞれ、左広角画像と右広角画像を取得する広角画像取得手段を具備し、前記撮影手段は、前記取得した左広角画像から任意の方向の左カメラ画像を取得する仮想的なカメラで前記左カメラを構成するとともに、前記取得した右広角画像から任意の方向の右カメラ画像を取得する仮想的なカメラで前記右カメラを構成し、前記撮影方向移動手段は、前記左広角カメラと前記右広角カメラが、前記左広角画像と前記右広角画像からそれぞれ左カメラ画像と右カメラ画像を取得する仮想的な撮影空間で前記撮影方向を移動する、ことを特徴とする第104構成に記載の追跡装置。
(第106構成) 前記左広角カメラと前記右広角カメラは、それぞれ左全天球カメラと右全天球カメラであることを特徴とする第105構成に記載の追跡装置。
(第107構成) 前記写像手段は、前記発生させた粒子の前記左カメラ画像、及び前記右カメラ画像での位置を所定の写像関数で計算して取得することを特徴とする第103構成から第106構成までのうちの何れか1の構成に記載の追跡装置。
(第108構成) 前記撮影手段は、前記発生させた粒子ごとに前記左カメラと前記右カメラを向けて撮影し、前記写像手段は、前記左カメラ画像と前記右カメラ画像の前記撮影方向に対応する位置を前記粒子の位置として取得することを特徴とする第103構成から第106構成までのうちの何れか1の構成に記載の追跡装置。
(第109構成) 前記出力した測量結果に基づいて前記対象と共に移動する移動手段を、具備したことを特徴とする第104構成に記載の追跡装置。
(第110構成) 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を3次元空間内に発生する粒子発生機能と、前記対象を撮影する撮影機能と、前記撮影した画像に前記発生させた粒子を写像する写像機能と、前記写像した粒子の前記画像内での位置に基づいて検出領域を設定して、前記撮影した対象を画像認識する画像認識機能と、前記画像認識の結果に基づいて前記発生させた粒子の尤度を取得する尤度取得機能と、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡機能と、をコンピュータで実現し、前記粒子発生機能は、逐次、前記更新した確率分布に基づいて粒子を発生させる追跡プログラム。
(第201構成) 走行体や建造物などに設置されて、所定の対象を検出する検出装置であって、所定の水平面よりも上側に配設した上カメラと、前記水平面よりも下側に配設した下カメラによって、前記対象を広角で撮影する撮影手段と、前記撮影した対象を、前記上カメラの上カメラ画像と前記下カメラの下カメラ画像でそれぞれ画像認識することで検出する検出手段と、を具備したことを特徴とする検出装置。
(第202構成) 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を3次元空間内に発生する粒子発生手段と、前記請求項1に記載した検出装置と、尤度取得手段と、追跡手段と、を備えた追跡装置であって、前記検出装置の前記撮像手段は、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって前記対象を撮影し、前記検出装置の前記検出手段は、前記前記上カメラと前記下カメラでそれぞれ撮影した上カメラ画像と下カメラ画像に前記発生させた粒子を対応づけて写像する写像手段と、前記写像した粒子の前記上カメラ画像と前記下カメラ画像でのそれぞれの位置に基づいて前記上カメラ画像と前記下カメラ画像に検出領域を設定して、前記撮影した対象を前記上カメラ画像と下カメラ画像でそれぞれ画像認識する画像認識手段と、を備え、前記尤度取得手段は、前記上カメラ画像の画像認識に基づく第1の尤度と、前記下カメラ画像の画像認識に基づく第2の尤度の少なくとも一方を用いて前記発生させた粒子の尤度を取得し、前記追跡手段は、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡し、前記粒子発生手段は、逐次、前記更新した確率分布に基づいて粒子を発生させる、ことを特徴とする追跡装置。
(第203構成) 前記粒子発生手段は、前記対象が移動する平面に平行な平面に沿って前記粒子を発生させることを特徴とする請求項2に記載の追跡装置。
(第204構成) 前記更新した確率分布に基づいて前記上カメラと前記下カメラの撮影方向を前記対象の方向に移動する撮影方向移動手段と、を具備したことを特徴とする請求項2又は請求項3に記載の追跡装置。
(第205構成) 前記移動した上カメラと下カメラの撮影方向に基づいて前記対象の存在する位置を測量する測量手段と、前記測量した測量結果を出力する出力手段と、を具備したことを特徴とする請求項4に記載の追跡装置。
(第206構成) 所定の水平面よりも上側に配設した上広角カメラと、下側に配設した下広角カメラから、それぞれ、上広角画像と下広角画像を取得する広角画像取得手段を具備し、前記撮影手段は、前記取得した上広角画像から任意の方向の上カメラ画像を取得する仮想的なカメラで前記上カメラを構成するとともに、前記取得した下広角画像から任意の方向の下カメラ画像を取得する仮想的なカメラで前記下カメラを構成し、前記撮影方向移動手段は、前記上カメラと前記下カメラが、前記上広角画像と前記下広角画像からそれぞれ上カメラ画像と下カメラ画像を取得する仮想的な撮影空間で前記撮影方向を移動する、ことを特徴とする請求項2から請求項5までのうちの何れか1の請求項に記載の追跡装置。
(第207構成) 前記上広角カメラと前記下広角カメラは、それぞれ上全天球カメラと下全天球カメラであることを特徴とする請求項6に記載の追跡装置。
(第208構成) 前記写像手段は、前記発生させた粒子の前記上カメラ画像、及び前記下カメラ画像での位置を所定の写像関数で計算して取得することを特徴とする請求項2から請求項7までのうちの何れか1の請求項に記載の追跡装置。
(第209構成) 前記撮影手段は、前記発生させた粒子ごとに前記上カメラと前記下カメラを向けて撮影し、前記写像手段は、前記上カメラ画像と前記下カメラ画像の前記撮影方向に対応する位置を前記粒子の位置として取得することを特徴とする請求項2から請求項7までのうちの何れか1の請求項に記載の追跡装置。
(第210構成) 前記出力した測量結果に基づいて前記対象と共に移動する移動手段を、具備したことを特徴とする請求項2から請求項9までのうちの何れか1の請求項に記載の追跡装置。
(第211構成) 前記上カメラと前記下カメラは鉛直線上に配設されていることを特徴とする請求項2から請求項10までのうちの何れか1の請求項に記載の追跡装置。
(第212構成) 走行体や建造物などに設置されて、所定の対象を検出する検出装置としてコンピュータを機能させる検出プログラムであって、所定の水平面よりも上側に配設した上カメラと、前記水平面よりも下側に配設した下カメラによって、前記対象を広角で撮影する撮影機能と、前記撮影した対象を、前記上カメラの上カメラ画像と前記下カメラの下カメラ画像でそれぞれ画像認識することで検出する検出機能と、コンピュータに実現させることを特徴とする検出プログラム。
(第213構成) 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を3次元空間内に発生する粒子発生機能と、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって前記対象を撮影する撮影機能と、前記上カメラと前記下カメラでそれぞれ撮影した上カメラ画像と下カメラ画像に前記発生させた粒子を対応づけて写像する写像機能と、前記写像した粒子の前記上カメラ画像と前記下カメラ画像でのそれぞれの位置に基づいて前記上カメラ画像と前記下カメラ画像に検出領域を設定して、前記撮影した対象を前記上カメラ画像と前記下カメラ画像でそれぞれ画像認識する画像認識機能と、前記上カメラ画像の画像認識に基づく第1の尤度と、前記下カメラ画像の画像認識に基づく第2の尤度の少なくとも一方を用いて前記発生させた粒子の尤度を取得する尤度取得機能と、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡機能と、をコンピュータで実現し、前記粒子発生機能は、逐次、前記更新した確率分布に基づいて粒子を発生させる、追跡プログラム。
2 CPU
3 ROM
4 RAM
5 GPU
6 制御部
7 駆動装置
8 対象者
9 全天球カメラ
10 記憶部
11 撮影部
12 追跡ロボット
15 筐体
16 後輪
17 前輪
20 筐体
21 後輪
22 前輪
25 筐体
26 プロペラ
30 球体オブジェクト
31 仮想カメラ
32 円形領域
33 対象
35、36 カメラ
37 撮影領域
41、42、43 粒子
51、52 粒子
61、62 検出領域
71、81、82 カメラ画像
101 画像
102 セル
106、107 ヒストグラム
109、110、111 ベクトル
Claims (9)
- 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を3次元空間内に発生する粒子発生手段と、
前記対象を撮影する撮影手段と、
前記撮影した画像に前記発生させた粒子を写像する写像手段と、
前記写像した粒子の前記画像内での位置に基づいて検出領域を設定して、前記撮影した対象を画像認識する画像認識手段と、
前記画像認識の結果に基づいて前記発生させた粒子の尤度を取得する尤度取得手段と、
前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡手段と、
を具備し、
前記粒子発生手段は、前記対象が移動する平面に平行な平面に沿って、逐次、前記更新した確率分布に基づいて粒子を発生させることを特徴とする追跡装置。 - 前記撮影手段は、左カメラと右カメラを用いた輻輳ステレオカメラによって前記対象を撮影し、
前記写像手段は、前記左カメラと前記右カメラでそれぞれ撮影した左カメラ画像と右カメラ画像に前記発生させた粒子を対応づけて写像し、
前記画像認識手段は、前記左カメラ画像と前記右カメラ画像でそれぞれ画像認識し、
前記尤度取得手段は、前記左カメラ画像の画像認識に基づく第1の尤度と、前記右カメラ画像の画像認識に基づく第2の尤度の少なくとも一方を用いて前記尤度を取得し、
更に、
前記更新した確率分布に基づいて前記左カメラと前記右カメラの撮影方向を前記対象の方向に移動する撮影方向移動手段と、
を具備したことを特徴とする請求項1に記載の追跡装置。 - 前記移動した左カメラと右カメラの撮影方向に基づいて前記対象の存在する位置を測量する測量手段と、
前記測量した測量結果を出力する出力手段と、
を具備したことを特徴とする請求項2に記載の追跡装置。 - 左広角カメラと右広角カメラから、それぞれ、左広角画像と右広角画像を取得する広角画像取得手段を具備し、
前記撮影手段は、前記取得した左広角画像から任意の方向の左カメラ画像を取得する仮想的なカメラで前記左カメラを構成するとともに、前記取得した右広角画像から任意の方向の右カメラ画像を取得する仮想的なカメラで前記右カメラを構成し、
前記撮影方向移動手段は、前記左広角カメラと右広角カメラが、前記左広角画像と前記右広角画像からそれぞれ左カメラ画像と右カメラ画像を取得する仮想的な撮影空間で前記撮影方向を移動する、
ことを特徴とする請求項3に記載の追跡装置。 - 前記左広角カメラと前記右広角カメラは、それぞれ左全天球カメラと右全天球カメラであることを特徴とする請求項4に記載の追跡装置。
- 前記写像手段は、前記発生させた粒子の前記左カメラ画像、及び前記右カメラ画像での位置を所定の写像関数で計算して取得することを特徴とする請求項2から請求項5までのうちの何れか1の請求項に記載の追跡装置。
- 前記撮影手段は、前記発生させた粒子ごとに前記左カメラと前記右カメラを向けて撮影し、
前記写像手段は、前記左カメラ画像と前記右カメラ画像の前記撮影方向に対応する位置を前記粒子の位置として取得することを特徴とする請求項2から請求項5までのうちの何れか1の請求項に記載の追跡装置。 - 前記出力した測量結果に基づいて前記対象と共に移動する移動手段を、
具備したことを特徴とする請求項3に記載の追跡装置。 - 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を3次元空間内に発生する粒子発生機能と、
前記対象を撮影する撮影機能と、
前記撮影した画像に前記発生させた粒子を写像する写像機能と、
前記写像した粒子の前記画像内での位置に基づいて検出領域を設定して、前記撮影した対象を画像認識する画像認識機能と、
前記画像認識の結果に基づいて前記発生させた粒子の尤度を取得する尤度取得機能と、
前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡機能と、
をコンピュータで実現し、
前記粒子発生機能は、前記対象が移動する平面に平行な平面に沿って、逐次、前記更新した確率分布に基づいて粒子を発生させる追跡プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038879A JP7456590B2 (ja) | 2020-03-06 | 2020-03-06 | 追跡装置、及び追跡プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038879A JP7456590B2 (ja) | 2020-03-06 | 2020-03-06 | 追跡装置、及び追跡プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021140560A JP2021140560A (ja) | 2021-09-16 |
JP7456590B2 true JP7456590B2 (ja) | 2024-03-27 |
Family
ID=77669680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020038879A Active JP7456590B2 (ja) | 2020-03-06 | 2020-03-06 | 追跡装置、及び追跡プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7456590B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013206262A (ja) | 2012-03-29 | 2013-10-07 | Kddi Corp | 複数の被写体領域を分離する方法およびプログラム |
JP2016146098A (ja) | 2015-02-09 | 2016-08-12 | 株式会社リコー | 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム |
JP2017182437A (ja) | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | 画像認識装置、移動体装置、及び画像認識プログラム |
WO2018051944A1 (ja) | 2016-09-13 | 2018-03-22 | 日本電気株式会社 | 人流推定装置、人流推定方法および記録媒体 |
-
2020
- 2020-03-06 JP JP2020038879A patent/JP7456590B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013206262A (ja) | 2012-03-29 | 2013-10-07 | Kddi Corp | 複数の被写体領域を分離する方法およびプログラム |
JP2016146098A (ja) | 2015-02-09 | 2016-08-12 | 株式会社リコー | 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム |
JP2017182437A (ja) | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | 画像認識装置、移動体装置、及び画像認識プログラム |
WO2018051944A1 (ja) | 2016-09-13 | 2018-03-22 | 日本電気株式会社 | 人流推定装置、人流推定方法および記録媒体 |
Non-Patent Citations (2)
Title |
---|
佐藤 恵一 Keiichi Sato,パーティクルフィルタによる3次元位置推定の実験的検討 An Experimental Study on Object Location in 3D Space with Particle Filter,電気学会研究会資料 The Papers of Joint Technical Meeting on Information Processing and Innovative Industrial System,IEE,日本,一般社団法人電気学会 The Institute of Electrical Engineers of Japan(IEEJ),2012年08月24日,p.27-p.30 |
本村 太一,深層学習により構築された距離空間モデルを用いた人物追跡,SSII2019 [USB] ,日本,画像センシング技術研究会,2019年06月12日,IS2-14 SO2-14 |
Also Published As
Publication number | Publication date |
---|---|
JP2021140560A (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11900536B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous tracking | |
US20210065400A1 (en) | Selective processing of sensor data | |
CN110582798B (zh) | 用于虚拟增强视觉同时定位和地图构建的***和方法 | |
US10366508B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
US10602115B2 (en) | Method and apparatus for generating projection image, method for mapping between image pixel and depth value | |
CN111527463B (zh) | 用于多目标跟踪的方法和*** | |
US10410328B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
US10599149B2 (en) | Salient feature based vehicle positioning | |
US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
KR102597216B1 (ko) | 공항용 안내 로봇 및 그의 동작 방법 | |
KR101947619B1 (ko) | 모바일 디바이스에서의 slam | |
US20060098089A1 (en) | Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired | |
WO2016031105A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2017529521A (ja) | 社会的且つ環境的認識を提供する装用可能イヤピース | |
JP2022077976A (ja) | 画像ベースの測位方法及びシステム | |
US10838515B1 (en) | Tracking using controller cameras | |
JP2018173707A (ja) | 人推定システムおよび推定プログラム | |
JP7422361B2 (ja) | 追跡装置、及び追跡プログラム | |
CN111489392A (zh) | 多人环境下单个目标人体运动姿态捕捉方法及*** | |
JP7456590B2 (ja) | 追跡装置、及び追跡プログラム | |
Gunethilake | Blind navigation using deep learning-based obstacle detection | |
JP7354528B2 (ja) | 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム | |
Bae et al. | SiT dataset: socially interactive pedestrian trajectory dataset for social navigation robots | |
Satoh et al. | A secure and reliable next generation mobility—An intelligent electric wheelchair with a stereo omni-directional camera system— | |
CN117859104A (zh) | 飞行器、图像处理方法和装置、可移动平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230120 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20231020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7456590 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |