JP2020056644A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2020056644A JP2020056644A JP2018186446A JP2018186446A JP2020056644A JP 2020056644 A JP2020056644 A JP 2020056644A JP 2018186446 A JP2018186446 A JP 2018186446A JP 2018186446 A JP2018186446 A JP 2018186446A JP 2020056644 A JP2020056644 A JP 2020056644A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- person
- size
- image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title claims 3
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 241000218922 Magnoliophyta Species 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は本実施形態の情報処理装置が適用される一例としての監視システムの概略構成を示した図である。カメラ101は、例えばネットワークカメラ(NWカメラ)であり、屋内や屋外等の所望の場所に設置され、所望の監視エリアを撮影する監視カメラであるとする。監視エリアには例えば床110があり、また監視エリア内では人などの対象物体103の出入りや移動等があるものとする。なお監視エリアの環境には、一様に平坦な床110だけでなく、例えば階段やエスカレータ、スロープ、坂道、丘陵地、凹凸面、曲面などの様々な環境が含まれる場合もある。そして、カメラ101は、例えば動画のように所定の時間間隔(フレーム周期)ごとの時間順に連続的に撮影した画像を取得し、それら取得した各画像のデータを、解析用のパーソナルコンピュータ(PC102とする。)に送信する。
さらに本実施形態の場合、データベース250に格納されたジオメトリデータは、後述するように、更新部240による変更および更新が可能となされている。
同様に、位置計算部222では、画像から検出および追跡されている人物の三次元位置を計算する際に、信頼性が高いジオメトリデータを用いた人物の三次元位置の算出の処理が行われることになる。
またデータ処理部260は、位置計算部222にて複数の人物の三次元位置が取得された場合、各人物の三次元位置を基に、それら複数の人物をグループ分けして、人物ごとにグループ属性情報を付加する処理を行うこともできる。データ処理部260は、複数の人物をグループ分けした場合、そのグループ分けの結果を表す表示画像を生成して、PC102のモニタ装置等の画面上に表示させることもできる。
また、データ処理部260は、位置計算部222にて複数の人物の三次元位置が取得され、それら複数の人物の三次元位置から複数の人物の移動時に交差が生じたかどうかを判断する処理も行うことができる。そして、データ処理部260は、複数の人物の交差が生じた際の各人物の三次元位置を基に、検出追跡部210における人物追跡が継続されるようにする処理を行うこともできる。
さらにS330において、身長計算部221は、検出追跡部210にて検出および追跡されている人物の頭頂部から、S320で取得したジオメトリデータにおける足元位置までの距離を、人物の身長として算出する。
そして、S340において身長に変化がない(既知の身長と略々一致している)と判定された場合、S305において、位置計算部222は、S320で取得された足元位置を人物の三次元位置として確定する。
そして、位置計算部222は、補正後(更新後)のジオメトリデータを用いて、画像内の人物の三次元位置を再計算する。
これらS352またはS351の処理の後、図3のフローチャートの処理は終了し、次のフレーム周期の画像について同様の処理が行われる。
図4は、撮影された画像内の人物の身長および位置の関係説明に用いる図であり、本実施形態の監視システムにおけるカメラ400と、対象物体である人物421,422と、床面411および床面412の配置例が示されている。
図4の例では、検出追跡部210により、人物421と人物422が画像から検知されて追跡されているとする。すなわち、検出追跡部210は、図3のフローチャートのS310において、それら人物のそれぞれ頭頂部の位置と足元の位置に相当する画素位置を特定する。なおこの時、それら人物の姿勢を検出し、人物の姿勢が直立姿勢であることを確認すれば、後述する身長算出の正確性が増すことができるためなおよい。
図5(A)は、カメラによりフレーム周期ごとに撮影された画像のなかの一枚の画像503の一例を示している。また図5(B)は、カメラの中心位置502と実際の人物505との間の位置および方向の関係、および、カメラの仮想的な画像面(503)に対して人物505が投影された人物501を示している。また図5(C)は、カメラの中心位置502と実際の人物501との間の位置および方向と、人物の身長計算の際に用いられるジオメトリとの関係を表した図である。
しかしながら、床面624は基準面(604)に対して傾斜しており、床面624上の人物621の足元位置は基準面(604)とは高さが異なる位置になっている。このため、基準面に対応したジオメトリデータを用いて人物621の身長を算出した場合、基準面の床面604上の人物601の身長t'として算出されることになり、実際の人物621の身長tとは異なった値が取得されることになる。そして、三次元位置も同様に、基準面の床面604上の人物601の位置が算出されることになり、実際の人物621の床面241上の三次元位置に対し、カメラの光軸方向で奥側にずれた位置が算出される。なお前述した図4の例の場合、床面411上の人物421では実際の身長hが算出されるが、床面412上の人物422では実際より高い身長(人物423の身長)が算出され、三次元位置も実際の人物422の位置とは異なる三次元位置が算出される。
このように、本実施形態では、算出される身長が既知の身長と一致するようにジオメトリデータの床面の位置を調整することにより、蓋然性の高いジオメトリデータの床面位置と人物の三次元位置を取得することができる。
更に、このように逐次調整することによって取得された複数のジオメトリデータの床面の位置を統計的に処理することで、より正確なジオメトリデータを取得することが可能となる。これにより、ジオメトリデータにおける床面の位置と人物の三次元位置の蓋然性をより高めることが可能となる。
人物の追跡は三次元空間内で正確に行われるため、例えば店内における顧客の動きを記録したマーケティングなどに用いることが可能となる。また、複数の人物が存在する場合は、それら各人物の位置関係を取得することができ、それぞれ検出された各人物間の相対的な位置関係を正確に知ることができるので、複数の人物のグルーピングなどに用いることができる。また、一定領域の正確な面積と人の数を取得できるようになるため、人物の密度を測定することも可能となる。
Claims (18)
- カメラにより撮影されるエリア内の三次元位置を特定可能な所定のデータを保持する保持手段と、
前記カメラにて撮影された画像から対象物体を検出して、前記対象物体の画像内における位置を取得する検出手段と、
前記画像内における前記対象物体の位置に対応した前記所定のデータを取得し、当該所定のデータを用いて、前記対象物体の大きさを算出する大きさ算出手段と、
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合には、前記算出手段にて算出される前記対象物体の大きさが前記既知の大きさと合うように、前記所定のデータを補正する補正手段と、
前記画像内における前記対象物体の位置と前記所定のデータとを基に前記対象物体の三次元位置を算出する位置算出手段と、
を有することを特徴とする情報処理装置。 - 前記検出手段は、前記画像内の前記対象物体における所定の特徴点の位置を取得することを特徴とする請求項1に記載の情報処理装置。
- 前記大きさ算出手段は、
前記対象物体の前記所定の特徴点の位置に対応した前記所定のデータを取得し、
前記所定のデータにより特定される位置と、前記画像内の前記対象物体の他の特徴点の位置とを基に、前記対象物体の大きさを算出することを特徴とする請求項2に記載の情報処理装置。 - 前記対象物体が人物である場合、前記所定の特徴点の位置は前記人物の足元部の位置であり、前記他の特徴点の位置は前記人物の頭頂部の位置であり、
前記大きさ算出手段は、前記人物の足元部の位置に対応した前記所定のデータにより特定される位置と、前記人物の頭頂部の位置との間の距離で表される人物の身長を、前記対象物体の大きさとして算出することを特徴とする請求項3に記載の情報処理装置。 - 前記大きさ算出手段は、前記人物の足元の位置が不明である場合、前記人物の頭頂部、腰部、肩部、側頭部の、少なくとも二つの位置を基に、前記人物の足元の位置を算出することを特徴とする請求項4に記載の情報処理装置。
- 前記大きさ算出手段は、前記身長が既知の大きさであるとき、当該身長と、前記少なくとも二つの位置の間の距離との比を基に、前記人物の足元の位置を算出することを特徴とする請求項5に記載の情報処理装置。
- 前記検出手段は、前記対象物体を認識する手段と、前記認識された対象物体に関する情報を取得する手段と、を有し、
前記認識された対象物体に関する情報には、前記対象物体の前記既知の大きさを示す情報が含まれていることを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 - 前記補正手段は、
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合に、前記所定のデータの信頼性が低いと判定する判定手段と、
前記判定手段により信頼性が低いと判定された前記所定のデータに対して、前記補正を行って更新する更新手段と、を有することを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。 - 前記所定のデータは、前記エリア内の領域について前記所定のデータの信頼性が高い領域を表す情報を含み、
前記補正手段は、前記信頼性の高い領域で前記検出された前記対象物体について前記算出手段が算出した前記大きさを基に、前記信頼性が高くない領域に対応した前記所定のデータについて前記補正を行うことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。 - 異なる位置に設置された二つ以上のカメラにより前記エリア内で重複して撮影された領域から前記検出されて前記算出された前記対象物体の大きさを基に、前記エリア内で前記重複して撮影されていない領域に対応した前記所定のデータについて前記補正を行うことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。
- 前記検出手段は、一つのカメラにより所定の時間間隔の時間順に連続して前記撮影された画像から前記対象物体を検出し、前記時間順に連続した複数の画像について前記対象物体を追跡することを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。
- 前記補正手段は、前記時間順で前の画像について前記算出手段が算出した対象物体の大きさを、前記対象物体の前記既知の大きさとして保持することを特徴とする請求項11に記載の情報処理装置。
- 前記検出手段は、前記対象物体を追跡している際に他の対象物体との交差が生じた場合、前記交差する対象物体の三次元位置に基づいて前記追跡を継続することを特徴とする請求項11または12に記載の情報処理装置。
- 前記算出された前記対象物体の三次元位置を表示するための表示画像を生成する処理手段を有することを特徴とする請求項1から13のいずれか1項に記載の情報処理装置。
- 複数の前記対象物体の三次元位置が算出された場合、前記対象物体の三次元位置を基に、前記複数の対象物体をグループごとに分けて、前記対象物体ごとにグループ属性情報を付加する付加手段を有することを特徴とする請求項1から14のいずれか1項に記載の情報処理装置。
- 前記所定のデータは、前記エリア内の床面上における三次元位置を特定可能なジオメトリデータであることを特徴とする請求項1から15のいずれか1項に記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
カメラにより撮影されるエリア内の三次元位置を特定可能な所定のデータを保持する保持工程と、
カメラにて撮影された画像から対象物体を検出して、前記対象物体の画像内における位置を取得する検出工程と、
前記画像内における前記対象物体の位置に対応した前記所定のデータを取得し、当該所定のデータを用いて、前記対象物体の大きさを算出する大きさ算出工程と、
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合には、前記算出工程にて算出される前記対象物体の大きさが前記既知の大きさと合うように、前記所定のデータを補正する補正工程と、
前記画像内における前記対象物体の位置と前記所定のデータとを基に前記対象物体の三次元位置を算出する位置算出工程と、
を有することを特徴とする情報処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186446A JP7224832B2 (ja) | 2018-10-01 | 2018-10-01 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186446A JP7224832B2 (ja) | 2018-10-01 | 2018-10-01 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020056644A true JP2020056644A (ja) | 2020-04-09 |
JP7224832B2 JP7224832B2 (ja) | 2023-02-20 |
Family
ID=70107001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018186446A Active JP7224832B2 (ja) | 2018-10-01 | 2018-10-01 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7224832B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220015056A (ko) * | 2020-07-30 | 2022-02-08 | 한국과학기술연구원 | 3d 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 cctv 관제 시스템 |
JP2022049793A (ja) * | 2020-09-17 | 2022-03-30 | 株式会社Qoncept | 軌跡算出装置、軌跡算出方法、軌跡算出プログラム |
JP7394240B2 (ja) | 2020-06-03 | 2023-12-07 | グーグル エルエルシー | 被写体下端位置に基づいた深度推定 |
WO2024023893A1 (ja) * | 2022-07-25 | 2024-02-01 | 三菱電機株式会社 | 人検出装置、人検出システム、プログラム及び人検出方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008286638A (ja) * | 2007-05-17 | 2008-11-27 | Sogo Keibi Hosho Co Ltd | 身長推定装置および身長推定方法 |
JP2009017026A (ja) * | 2007-07-02 | 2009-01-22 | Hitachi Kokusai Electric Inc | 座標変換方法及びパラメータ調整方法及び監視システム |
JP2011215082A (ja) * | 2010-04-01 | 2011-10-27 | Nippon Telegr & Teleph Corp <Ntt> | 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム |
JP2013257349A (ja) * | 2008-03-03 | 2013-12-26 | Toa Corp | カメラキャリブレーション結果検証装置および方法 |
JP2016225953A (ja) * | 2015-06-03 | 2016-12-28 | 株式会社日立製作所 | カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法 |
JP2017103602A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
JPWO2017126072A1 (ja) * | 2016-01-21 | 2018-01-25 | 株式会社日立製作所 | 画像認識システム、カメラ状態推定装置及び記憶媒体 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108806703B (zh) | 2012-06-08 | 2023-07-18 | 三星电子株式会社 | 用于隐藏帧错误的方法和设备 |
-
2018
- 2018-10-01 JP JP2018186446A patent/JP7224832B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008286638A (ja) * | 2007-05-17 | 2008-11-27 | Sogo Keibi Hosho Co Ltd | 身長推定装置および身長推定方法 |
JP2009017026A (ja) * | 2007-07-02 | 2009-01-22 | Hitachi Kokusai Electric Inc | 座標変換方法及びパラメータ調整方法及び監視システム |
JP2013257349A (ja) * | 2008-03-03 | 2013-12-26 | Toa Corp | カメラキャリブレーション結果検証装置および方法 |
JP2011215082A (ja) * | 2010-04-01 | 2011-10-27 | Nippon Telegr & Teleph Corp <Ntt> | 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム |
JP2016225953A (ja) * | 2015-06-03 | 2016-12-28 | 株式会社日立製作所 | カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法 |
JP2017103602A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
JPWO2017126072A1 (ja) * | 2016-01-21 | 2018-01-25 | 株式会社日立製作所 | 画像認識システム、カメラ状態推定装置及び記憶媒体 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7394240B2 (ja) | 2020-06-03 | 2023-12-07 | グーグル エルエルシー | 被写体下端位置に基づいた深度推定 |
KR20220015056A (ko) * | 2020-07-30 | 2022-02-08 | 한국과학기술연구원 | 3d 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 cctv 관제 시스템 |
KR102473165B1 (ko) | 2020-07-30 | 2022-12-01 | 한국과학기술연구원 | 3d 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 cctv 관제 시스템 |
JP2022049793A (ja) * | 2020-09-17 | 2022-03-30 | 株式会社Qoncept | 軌跡算出装置、軌跡算出方法、軌跡算出プログラム |
WO2024023893A1 (ja) * | 2022-07-25 | 2024-02-01 | 三菱電機株式会社 | 人検出装置、人検出システム、プログラム及び人検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7224832B2 (ja) | 2023-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7224832B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN104902246B (zh) | 视频监视方法和装置 | |
JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
CN107924461B (zh) | 用于多因素图像特征配准和跟踪的方法、电路、设备、***及相关计算机可执行代码 | |
CN107079093B (zh) | 校准装置 | |
JP5554726B2 (ja) | データ関連付けのための方法と装置 | |
KR101126626B1 (ko) | 광역 3차원 복원을 위한 시스템 및 방법 | |
JP4048779B2 (ja) | 距離画像処理装置 | |
CN108027230A (zh) | 信息处理设备、信息处理方法和程序 | |
KR101469099B1 (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
JP5027758B2 (ja) | 画像監視装置 | |
JP7173341B2 (ja) | 人物状態検出装置、人物状態検出方法及びプログラム | |
JP2013257244A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
JP4471866B2 (ja) | 人物検出方法 | |
KR20050061115A (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
JP7197011B2 (ja) | 身長推定装置、身長推定方法及びプログラム | |
JP4101478B2 (ja) | 人体端点検出方法及び装置 | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
JP6504711B2 (ja) | 画像処理装置 | |
JP7396364B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2018134866A1 (ja) | カメラ校正装置 | |
JP2012181063A (ja) | 計算装置、計算方法及び計算プログラム | |
KR102186983B1 (ko) | 사용자 영상 단말의 이동거리 측정 방법 및 장치 | |
JP7420146B2 (ja) | カメラ校正装置、カメラ校正方法及びカメラ校正プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7224832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |