JPWO2019155727A1 - 情報処理装置、追跡方法、及び追跡プログラム - Google Patents
情報処理装置、追跡方法、及び追跡プログラム Download PDFInfo
- Publication number
- JPWO2019155727A1 JPWO2019155727A1 JP2019570309A JP2019570309A JPWO2019155727A1 JP WO2019155727 A1 JPWO2019155727 A1 JP WO2019155727A1 JP 2019570309 A JP2019570309 A JP 2019570309A JP 2019570309 A JP2019570309 A JP 2019570309A JP WO2019155727 A1 JPWO2019155727 A1 JP WO2019155727A1
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- detection
- detection target
- representative
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
人又は物体の移動軌跡の精度が悪くなる問題は、単純にカメラのフレームレートを上げるだけでは解決しない。また、人又は物体の移動軌跡の精度が悪くなる問題は、センサがサンプリングする周期を上げるだけでは解決しない。
図1は、実施の形態1の追跡システムを示す図(その1)である。追跡システムは、情報処理装置100とカメラ200,201,202とを含む。情報処理装置100とカメラ200,201,202は、ネットワークを介して接続される。
情報処理装置100は、撮影対象者の追跡を実施することができる。例えば、情報処理装置100は、コンピュータである。情報処理装置100は、カメラ200,201,202が撮影した画像を取得する。
なお、図2では、情報処理装置100の図示を省略している。
図3は、実施の形態1の情報処理装置が有する主なハードウェア構成を示す図である。情報処理装置100は、プロセッサ101、揮発性記憶装置102、及び不揮発性記憶装置103を有する。
位置検出部110は、カメラ200,201,202のそれぞれが周期的に撮影対象を撮影した複数の撮影画像から撮影対象の位置を示す複数の画像座標を検出する。撮影対象は、検出対象とも言う。撮影対象は、第1の検出対象と表現してもよい。撮影画像は、検出情報とも言う。画像座標は、検出対象位置とも言う。
座標蓄積部130は、複数の画像座標が共通系座標に変換された複数の変換後座標を格納する。
代表座標算出部160は、当該複数の座標に基づいて代表座標を算出する。代表座標算出部160は、代表座標を、撮影対象が最新座標から移動した位置と決定する。
図5は、実施の形態1の移動軌跡テーブルの例を示す図である。移動軌跡テーブル141は、記憶部140に格納される。移動軌跡テーブル141は、項番、データ内容、データ形式、及びデータサイズの項目を有する。
項番の項目は、識別子を示す。データ内容の項目は、データ内容を示す。データ形式の項目は、データ形式を示す。データサイズの項目は、データサイズを示す。データサイズの項目に登録される情報の単位は、バイトである。
項番4には、移動軌跡ID:T1に対応する撮影対象IDが登録されている。項番5には、移動軌跡ID:T1に対応する撮影対象IDの移動軌跡を算出する際に使用される座標の数が登録されている。図5では、当該座標の数がm1個であることを示している。項番6には、移動軌跡ID:T1の最終更新時刻が登録されている。項番7以降は、移動軌跡ID:T1に対応する撮影対象IDが移動した位置が時系列順に登録されている。図5では、3次元座標の場合を例示しているが、2次元座標の場合もある。
表示制御部170は、m1個の座標を用いることで、移動軌跡ID:T1に対応する撮影対象IDの移動軌跡を生成できる。
移動軌跡テーブル141には、移動軌跡ID:T1に関する情報の後に、移動軌跡ID:T2,・・・,TNに関する情報が登録される。また、移動軌跡テーブル141には、移動軌跡ID:T1のように、移動軌跡ID毎に最新座標が登録されている。
また、物体検出部111が実行する処理は、物体検出部112,113が実行する処理と同様である。そこで、図6では、物体検出部111が実行する処理を説明する。そして、物体検出部112,113が実行する処理については、説明を省略する。
(ステップS12)物体検出部111は、画像に対して認識処理を実行し、撮影対象を検出する。例えば、認識処理とは、背景差分処理、フレーム間差分処理、一般物体認識技術、又は特定物体認識技術である。また、物体検出部111は、画像に複数の撮影対象が存在する場合、複数の撮影対象を検出する。
このように、座標蓄積部130には、カメラ200,201,202が周期的に撮影した画像に基づく複数の変換後座標が格納されることになる。
また、画像座標が変換された変換後座標には、当該画像座標を含む画像が撮影された撮影時刻が対応付けられている。撮影時刻は、検出時刻とも言う。
このように、情報処理装置100は、カメラ200がセンサの場合も、図6に示した処理と同様に処理を行う。
また、分類部150は、座標蓄積部130に格納されている全ての変換後座標を取得してもよい。
(ステップS24)分類部150は、各移動軌跡IDの最新座標のうち、ステップS23で選択した変換後座標に最も近い最新座標の移動軌跡IDを、ステップS23で選択した変換後座標に付加する。例えば、分類部150は、各移動軌跡IDの最新座標とステップS23で選択した変換後座標との距離を算出する。分類部150は、算出した結果、ステップS23で選択した変換後座標に最も近い最新座標が移動軌跡ID:T1であることを特定する。分類部150は、ステップS23で選択した変換後座標に移動軌跡ID:T1を付加する。
ステップS23で選択した変換後座標に最も近い最新座標は、第1の座標とも言う。また、移動軌跡IDが付加された変換後座標は、当該移動軌跡IDの最新座標と関係を有すると予測される座標と言える。
また、ステップS25が終了した時点では、複数の変換後座標が移動軌跡ID毎に分類されている。例えば、移動軌跡ID:T1の最新座標を第1の座標とする。また、移動軌跡ID:T1を除く移動軌跡ID:T1以外の複数の最新座標を複数の第3の座標とする。移動軌跡ID:T1が付加された複数の変換後座標は、第1の座標と複数の第3の座標を含む複数の座標の中で、第1の座標との距離が最も近い座標であると言える。
ステップS22では、ステップS22の実行開始時点から所定の時間前までに撮影された画像の画像座標が変換された変換後座標が座標蓄積部130から取得される。当該所定の時間は、ステップS28で分類部150が待機する待機時間と一致しても良いし、当該待機時間よりも長くても良い。
領域301は、カメラ200が撮影できる範囲を示している。領域302は、カメラ201が撮影できる範囲を示している。領域303は、カメラ200とカメラ201が重複して撮影する範囲である。重複して撮影する範囲を重複領域とする。図9では、網掛けした領域が重複領域である。
状況情報402は、時刻T3でカメラ200が撮影した画像に基づいて検出された撮影対象者U1,U2の位置と、時刻T3でカメラ201が撮影した画像に基づいて検出された撮影対象者U1,U2の位置とを示したものである。
状況情報404は、時刻T5でカメラ200が撮影した画像に基づいて検出された撮影対象者U2の位置と、時刻T5でカメラ201が撮影した画像に基づいて検出された撮影対象者U1の位置とを示したものである。
状況情報402aは、時刻T3´でカメラ200が撮影した画像に基づいて検出された撮影対象者U1,U2の位置と、時刻T3´でカメラ201が撮影した画像に基づいて検出された撮影対象者U1,U2の位置とを示したものである。
実施の形態1は、撮影対象者U1の検出位置が大きく外れた場合でも、撮影対象者U1の移動軌跡の精度を高めることができる。以下に理由を説明する。
次に、実施の形態2を説明する。実施の形態1と相違する事項を主に説明し、実施の形態1と共通する事項の説明を省略する。実施の形態2の説明では、図1〜6を参照する。
図4に示される構成と同じ又は対応する図11の構成は、図4に示される符号と同じ符号を付している。
ここで、実施の形態2の代表座標の算出処理では、現在代表座標候補が用いられる。現在代表座標候補は、ステップS34以降の処理で使用される情報である。また、複数の現在代表座標候補のそれぞれには、異なる移動軌跡IDが対応付けられている。
(ステップS33)分類部150aは、ステップS33の実行開始時点から所定の時間前までに撮影された画像の画像座標が変換された変換後座標を座標蓄積部130から取得する。すなわち、分類部150aは、撮影時刻(すなわち、検出時刻)に基づいて、複数の変換後座標を座標蓄積部130から取得する。
また、分類部150aは、座標蓄積部130に格納されている全ての変換後座標を取得してもよい。
(ステップS35)分類部150aは、各移動軌跡IDの現在代表座標候補のうち、ステップS34で選択した変換後座標に最も近い現在代表座標候補の移動軌跡IDを、ステップS34で選択した変換後座標に付加する。
そして、代表座標算出部160aは、処理をステップS41に進める。
(ステップS41)代表座標算出部160aは、移動軌跡ID毎に現在代表座標候補と代表座標との距離を算出する。例えば、代表座標算出部160aは、移動軌跡ID:T1の現在代表座標候補と、ステップS37で算出した移動軌跡ID:T1の代表座標との距離を算出する。
そして、代表座標算出部160aは、処理をステップS34に進める。
(ステップS45)分類部150aは、一定時間、待機する。分類部150aは、待機後、処理をステップS31に進める。
本実施の形態1,2では、カメラ200,201,202を例示した。しかし、カメラ200,201,202は、少なくとも撮影対象空間において上方から撮影対象の相対位置を2次元座標として検出できるセンサでもよい。例えば、センサは、イメージセンサを含む画像センサである。例えば、画像センサは、撮影対象が人に限る場合、赤外線画像センサ又は熱画像センサである。例えば、赤外線画像センサから取得される赤外線画像では、人物領域が周囲より温度の高い領域として現される。そのため、位置検出部110は、背景差分処理において人がいない場合の赤外線画像と、赤外線画像センサから取得される赤外線画像との差分画像から人物領域を抽出できる。また、位置検出部110は、円領域を人物頭部として抽出できる。これにより、位置検出部110は、人と人の位置を検出できる。
Claims (7)
- 複数の検出装置のそれぞれが周期的に第1の検出対象を検出した複数の検出情報から前記第1の検出対象の位置を示す複数の検出対象位置を検出する位置検出部と、
前記複数の検出装置が設置されている空間に基づく座標に前記複数の検出対象位置を変換する変換部と、
前記複数の検出装置が前記第1の検出対象を検出する前に、前記第1の検出対象が存在していた位置の座標であり、かつ前記空間に基づく座標である第1の座標を記憶する記憶部と、
前記複数の検出対象位置が前記空間に基づく座標に変換された複数の座標である複数の変換後座標の中から、前記複数の検出装置のそれぞれが検出対象を検出する周期よりも長い第1の時間前までに検出された検出情報から検出された前記複数の検出対象位置が変換された変換後座標を取得し、取得した変換後座標の中から前記第1の座標と関係を有すると予測される複数の座標である複数の第2の座標を抽出する分類部と、
前記複数の第2の座標に基づいて代表座標を算出し、算出した代表座標を、前記第1の検出対象が前記第1の座標から移動した位置と決定する代表座標算出部と、
を有する、
情報処理装置。 - 前記記憶部は、さらに、前記第1の検出対象を除く検出対象を前記複数の検出装置が検出する前に、前記第1の検出対象を除く検出対象が存在していた位置の座標であり、かつ前記空間に基づく座標である複数の第3の座標を記憶し、
前記複数の第2の座標のそれぞれは、前記第1の座標と前記複数の第3の座標を含む複数の座標の中で、前記第1の座標との距離が最も近い座標である、
請求項1に記載の情報処理装置。 - 前記分類部は、前記複数の変換後座標の中から、前記第1の座標と前記複数の第3の座標とを含む複数の座標のそれぞれとの間の距離が第1の閾値を超える複数の第1の変換後座標を抽出し、前記複数の第1の変換後座標に基づいて複数の特徴を検出し、前記複数の特徴のうち第1の特徴に基づいて前記複数の第1の変換後座標の中から第2の変換後座標を抽出し、
前記代表座標算出部は、前記第2の変換後座標の数が第2の閾値以上の場合、前記第2の変換後座標に基づいて代表座標を算出し、算出した代表座標を新たに検出対象が検出された位置として前記記憶部に格納する、
請求項2に記載の情報処理装置。 - 前記代表座標算出部は、前記複数の第2の座標の中で前記第1の座標との間の距離が第3の閾値以下の複数の座標に基づいて代表座標を算出する、
請求項1から3のいずれか1項に記載の情報処理装置。 - 前記記憶部は、前記第1の検出対象を含む複数の検出対象を前記複数の検出装置が検出する前に、前記複数の検出対象が存在していた位置の座標であり、かつ前記空間に基づく座標である複数の第4の座標を記憶し、
前記分類部は、前記複数の変換後座標の中から、前記複数の第4の座標毎に、関係を有すると予測される複数の座標を抽出し、
前記代表座標算出部は、前記複数の第4の座標毎に抽出された複数の座標に基づいて複数の代表座標を算出し、
前記分類部は、さらに、前記複数の代表座標と前記複数の第4の座標との間の距離が第4の閾値を超える場合、前記複数の変換後座標の中から、前記複数の代表座標毎に、関係を有すると予測される複数の座標を抽出し、
前記代表座標算出部は、さらに、前記複数の代表座標毎に抽出された複数の座標に基づいて、新たに複数の代表座標を算出する、
請求項1に記載の情報処理装置。 - 情報処理装置が、
複数の検出装置のそれぞれが周期的に第1の検出対象を検出した複数の検出情報から前記第1の検出対象の位置を示す複数の検出対象位置を検出し、
前記複数の検出装置が設置されている空間に基づく座標に前記複数の検出対象位置を変換し、
前記複数の検出装置が前記第1の検出対象を検出する前に、前記第1の検出対象が存在していた位置の座標であり、かつ前記空間に基づく座標である第1の座標を取得し、
前記複数の検出対象位置が前記空間に基づく座標に変換された複数の座標である複数の変換後座標の中から、前記複数の検出装置のそれぞれが検出対象を検出する周期よりも長い第1の時間前までに検出された検出情報から検出された前記複数の検出対象位置が変換された変換後座標を取得し、取得した変換後座標の中から前記第1の座標と関係を有すると予測される複数の座標である複数の第2の座標を抽出し、
前記複数の第2の座標に基づいて代表座標を算出し、
算出した代表座標を、前記第1の検出対象が前記第1の座標から移動した位置と決定する、
追跡方法。 - コンピュータに、
複数の検出装置のそれぞれが周期的に第1の検出対象を検出した複数の検出情報から前記第1の検出対象の位置を示す複数の検出対象位置を検出し、
前記複数の検出装置が設置されている空間に基づく座標に前記複数の検出対象位置を変換し、
前記複数の検出装置が前記第1の検出対象を検出する前に、前記第1の検出対象が存在していた位置の座標であり、かつ前記空間に基づく座標である第1の座標を取得し、
前記複数の検出対象位置が前記空間に基づく座標に変換された複数の座標である複数の変換後座標の中から、前記複数の検出装置のそれぞれが検出対象を検出する周期よりも長い第1の時間前までに検出された検出情報から検出された前記複数の検出対象位置が変換された変換後座標を取得し、取得した変換後座標の中から前記第1の座標と関係を有すると予測される複数の座標である複数の第2の座標を抽出し、
前記複数の第2の座標に基づいて代表座標を算出し、
算出した代表座標を、前記第1の検出対象が前記第1の座標から移動した位置と決定する、
処理を実行させる追跡プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018020592 | 2018-02-08 | ||
JP2018020592 | 2018-02-08 | ||
PCT/JP2018/043204 WO2019155727A1 (ja) | 2018-02-08 | 2018-11-22 | 情報処理装置、追跡方法、及び追跡プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019155727A1 true JPWO2019155727A1 (ja) | 2020-05-28 |
JP6789421B2 JP6789421B2 (ja) | 2020-11-25 |
Family
ID=67549551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570309A Active JP6789421B2 (ja) | 2018-02-08 | 2018-11-22 | 情報処理装置、追跡方法、及び追跡プログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6789421B2 (ja) |
CN (1) | CN111670456B (ja) |
WO (1) | WO2019155727A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111222404A (zh) * | 2019-11-15 | 2020-06-02 | 北京市商汤科技开发有限公司 | 检测同行人的方法及装置、***、电子设备和存储介质 |
US11461923B2 (en) * | 2019-12-11 | 2022-10-04 | Kabushiki Kaisha Toshiba | Calculation system, calculation method, and storage medium |
WO2021210213A1 (ja) * | 2020-04-13 | 2021-10-21 | パナソニックIpマネジメント株式会社 | 移動体検知システム及び情報管理装置 |
JP7459248B2 (ja) * | 2020-05-25 | 2024-04-01 | 三菱電機株式会社 | 空調制御システム、コントローラおよび空調制御方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010206405A (ja) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | 画像監視装置 |
WO2015087730A1 (ja) * | 2013-12-10 | 2015-06-18 | 株式会社日立国際電気 | 監視システム |
JP2017016356A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8831677B2 (en) * | 2010-11-17 | 2014-09-09 | Antony-Euclid C. Villa-Real | Customer-controlled instant-response anti-fraud/anti-identity theft devices (with true-personal identity verification), method and systems for secured global applications in personal/business e-banking, e-commerce, e-medical/health insurance checker, e-education/research/invention, e-disaster advisor, e-immigration, e-airport/aircraft security, e-military/e-law enforcement, with or without NFC component and system, with cellular/satellite phone/internet/multi-media functions |
US8855427B2 (en) * | 2011-12-16 | 2014-10-07 | Harris Corporation | Systems and methods for efficiently and accurately detecting changes in spatial feature data |
JP6052293B2 (ja) * | 2012-10-17 | 2016-12-27 | 富士通株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP6344050B2 (ja) * | 2014-05-16 | 2018-06-20 | 株式会社リコー | 画像処理システム、画像処理装置、プログラム |
JP6372314B2 (ja) * | 2014-11-10 | 2018-08-15 | 株式会社豊田中央研究所 | 目標軌跡算出装置及びプログラム |
KR101645451B1 (ko) * | 2015-04-14 | 2016-08-12 | 공간정보기술 주식회사 | 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템 |
JP6448457B2 (ja) * | 2015-04-30 | 2019-01-09 | 三菱電機株式会社 | 撮影方向変動検出装置および撮影方向変動検出方法 |
KR101664751B1 (ko) * | 2015-11-19 | 2016-10-25 | 중앙대학교 산학협력단 | 오차를 줄일 수 있는 어레이 디텍터를 이용한 신호 위치 검출 장치 |
-
2018
- 2018-11-22 WO PCT/JP2018/043204 patent/WO2019155727A1/ja active Application Filing
- 2018-11-22 CN CN201880088321.8A patent/CN111670456B/zh active Active
- 2018-11-22 JP JP2019570309A patent/JP6789421B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010206405A (ja) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | 画像監視装置 |
WO2015087730A1 (ja) * | 2013-12-10 | 2015-06-18 | 株式会社日立国際電気 | 監視システム |
JP2017016356A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019155727A1 (ja) | 2019-08-15 |
CN111670456A (zh) | 2020-09-15 |
JP6789421B2 (ja) | 2020-11-25 |
CN111670456B (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11483521B2 (en) | Information processing system, information processing method, and program | |
JP6789421B2 (ja) | 情報処理装置、追跡方法、及び追跡プログラム | |
JP5567853B2 (ja) | 画像認識装置および方法 | |
US20180101732A1 (en) | Image processing apparatus, image processing system, method for image processing, and computer program | |
JP6674584B2 (ja) | 映像監視システム | |
JP6036824B2 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
US9305217B2 (en) | Object tracking system using robot and object tracking method using a robot | |
JP5886616B2 (ja) | 物体検出装置、物体検出装置の制御方法、およびプログラム | |
JP6618395B2 (ja) | 行動価値によって調査対象の位置を予測する装置、プログラム及び方法 | |
JP2021048617A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP6217635B2 (ja) | 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム | |
JPWO2014155958A1 (ja) | 対象物監視システム、対象物監視方法および監視対象抽出プログラム | |
JP2008035301A (ja) | 移動体追跡装置 | |
JP2018186397A (ja) | 情報処理装置、映像監視システム、情報処理方法及びプログラム | |
US11544926B2 (en) | Image processing apparatus, method of processing image, and storage medium | |
JP6289308B2 (ja) | 情報処理装置およびプログラム | |
JP2010199865A (ja) | 異常検知システム、異常検知方法及び異常検知プログラム | |
JPH11328365A (ja) | 画像監視装置及びその方法 | |
JP7218416B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2013114583A (ja) | 移動方向識別装置 | |
JP2018195872A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2015001871A (ja) | 人物判定装置、人物判定方法、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200303 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200303 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |