JP7224832B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7224832B2 JP7224832B2 JP2018186446A JP2018186446A JP7224832B2 JP 7224832 B2 JP7224832 B2 JP 7224832B2 JP 2018186446 A JP2018186446 A JP 2018186446A JP 2018186446 A JP2018186446 A JP 2018186446A JP 7224832 B2 JP7224832 B2 JP 7224832B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- person
- geometry data
- size
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
図1は本実施形態の情報処理装置が適用される一例としての監視システムの概略構成を示した図である。カメラ101は、例えばネットワークカメラ(NWカメラ)であり、屋内や屋外等の所望の場所に設置され、所望の監視エリアを撮影する監視カメラであるとする。監視エリアには例えば床110があり、また監視エリア内では人などの対象物体103の出入りや移動等があるものとする。なお監視エリアの環境には、一様に平坦な床110だけでなく、例えば階段やエスカレータ、スロープ、坂道、丘陵地、凹凸面、曲面などの様々な環境が含まれる場合もある。そして、カメラ101は、例えば動画のように所定の時間間隔(フレーム周期)ごとの時間順に連続的に撮影した画像を取得し、それら取得した各画像のデータを、解析用のパーソナルコンピュータ(PC102とする。)に送信する。
さらに本実施形態の場合、データベース250に格納されたジオメトリデータは、後述するように、更新部240による変更および更新が可能となされている。
同様に、位置計算部222では、画像から検出および追跡されている人物の三次元位置を計算する際に、信頼性が高いジオメトリデータを用いた人物の三次元位置の算出の処理が行われることになる。
またデータ処理部260は、位置計算部222にて複数の人物の三次元位置が取得された場合、各人物の三次元位置を基に、それら複数の人物をグループ分けして、人物ごとにグループ属性情報を付加する処理を行うこともできる。データ処理部260は、複数の人物をグループ分けした場合、そのグループ分けの結果を表す表示画像を生成して、PC102のモニタ装置等の画面上に表示させることもできる。
また、データ処理部260は、位置計算部222にて複数の人物の三次元位置が取得され、それら複数の人物の三次元位置から複数の人物の移動時に交差が生じたかどうかを判断する処理も行うことができる。そして、データ処理部260は、複数の人物の交差が生じた際の各人物の三次元位置を基に、検出追跡部210における人物追跡が継続されるようにする処理を行うこともできる。
さらにS330において、身長計算部221は、検出追跡部210にて検出および追跡されている人物の頭頂部から、S320で取得したジオメトリデータにおける足元位置までの距離を、人物の身長として算出する。
そして、S340において身長に変化がない(既知の身長と略々一致している)と判定された場合、S305において、位置計算部222は、S320で取得された足元位置を人物の三次元位置として確定する。
そして、位置計算部222は、補正後(更新後)のジオメトリデータを用いて、画像内の人物の三次元位置を再計算する。
これらS352またはS351の処理の後、図3のフローチャートの処理は終了し、次のフレーム周期の画像について同様の処理が行われる。
図4は、撮影された画像内の人物の身長および位置の関係説明に用いる図であり、本実施形態の監視システムにおけるカメラ400と、対象物体である人物421,422と、床面411および床面412の配置例が示されている。
図4の例では、検出追跡部210により、人物421と人物422が画像から検知されて追跡されているとする。すなわち、検出追跡部210は、図3のフローチャートのS310において、それら人物のそれぞれ頭頂部の位置と足元の位置に相当する画素位置を特定する。なおこの時、それら人物の姿勢を検出し、人物の姿勢が直立姿勢であることを確認すれば、後述する身長算出の正確性が増すことができるためなおよい。
図5(A)は、カメラによりフレーム周期ごとに撮影された画像のなかの一枚の画像503の一例を示している。また図5(B)は、カメラの中心位置502と実際の人物505との間の位置および方向の関係、および、カメラの仮想的な画像面(503)に対して人物505が投影された人物501を示している。また図5(C)は、カメラの中心位置502と実際の人物501との間の位置および方向と、人物の身長計算の際に用いられるジオメトリとの関係を表した図である。
しかしながら、床面624は基準面(604)に対して傾斜しており、床面624上の人物621の足元位置は基準面(604)とは高さが異なる位置になっている。このため、基準面に対応したジオメトリデータを用いて人物621の身長を算出した場合、基準面の床面604上の人物601の身長t'として算出されることになり、実際の人物621の身長tとは異なった値が取得されることになる。そして、三次元位置も同様に、基準面の床面604上の人物601の位置が算出されることになり、実際の人物621の床面241上の三次元位置に対し、カメラの光軸方向で奥側にずれた位置が算出される。なお前述した図4の例の場合、床面411上の人物421では実際の身長hが算出されるが、床面412上の人物422では実際より高い身長(人物423の身長)が算出され、三次元位置も実際の人物422の位置とは異なる三次元位置が算出される。
このように、本実施形態では、算出される身長が既知の身長と一致するようにジオメトリデータの床面の位置を調整することにより、蓋然性の高いジオメトリデータの床面位置と人物の三次元位置を取得することができる。
更に、このように逐次調整することによって取得された複数のジオメトリデータの床面の位置を統計的に処理することで、より正確なジオメトリデータを取得することが可能となる。これにより、ジオメトリデータにおける床面の位置と人物の三次元位置の蓋然性をより高めることが可能となる。
人物の追跡は三次元空間内で正確に行われるため、例えば店内における顧客の動きを記録したマーケティングなどに用いることが可能となる。また、複数の人物が存在する場合は、それら各人物の位置関係を取得することができ、それぞれ検出された各人物間の相対的な位置関係を正確に知ることができるので、複数の人物のグルーピングなどに用いることができる。また、一定領域の正確な面積と人の数を取得できるようになるため、人物の密度を測定することも可能となる。
Claims (18)
- カメラにより撮影されるエリア内の床面上における三次元位置を特定可能なジオメトリデータを保持する保持手段と、
前記カメラにて撮影された画像から前記対象物体の画像内における位置を取得する検出手段と、
前記画像内における前記対象物体の位置に対応した前記ジオメトリデータを取得し、当該ジオメトリデータを用いて、前記対象物体の大きさを算出する大きさ算出手段と、
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合には、
前記算出手段にて算出される前記対象物体の大きさが前記既知の大きさと合うように、前記ジオメトリデータにおける床面の位置を補正する補正手段と、
前記画像内における前記対象物体の位置と前記ジオメトリデータとを基に前記対象物体の三次元位置を算出する位置算出手段と、
を有することを特徴とする情報処理装置。 - 前記検出手段は、前記画像内の前記対象物体における所定の特徴点の位置を取得することを特徴とする請求項1に記載の情報処理装置。
- 前記大きさ算出手段は、
前記対象物体の前記所定の特徴点の位置に対応した前記ジオメトリデータを取得し、
前記ジオメトリデータにより特定される位置と、前記画像内の前記対象物体の他の特徴点の位置とを基に、前記対象物体の大きさを算出することを特徴とする請求項2に記載の情報処理装置。 - 前記対象物体が人物である場合、前記所定の特徴点の位置は前記人物の足元部の位置であり、前記他の特徴点の位置は前記人物の頭頂部の位置であり、
前記大きさ算出手段は、前記人物の足元部の位置に対応した前記ジオメトリデータにより特定される位置と、前記人物の頭頂部の位置との間の距離で表される人物の身長を、前記対象物体の大きさとして算出することを特徴とする請求項3に記載の情報処理装置。 - 前記大きさ算出手段は、前記人物の足元の位置が不明である場合、前記人物の頭頂部、
腰部、肩部、側頭部の、少なくとも二つの位置を基に、前記人物の足元の位置を算出することを特徴とする請求項4に記載の情報処理装置。 - 前記大きさ算出手段は、前記身長が既知の大きさであるとき、当該身長と、前記少なくとも二つの位置の間の距離との比を基に、前記人物の足元の位置を算出することを特徴とする請求項5に記載の情報処理装置。
- 前記検出手段は、前記対象物体を認識する手段と、前記認識された対象物体に関する情報を取得する手段と、を有し、
前記認識された対象物体に関する情報には、前記対象物体の前記既知の大きさを示す情報が含まれていることを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 - 前記補正手段は、
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合に、前記ジオメトリデータの信頼性が低いと判定する判定手段と、
前記判定手段により信頼性が低いと判定された前記ジオメトリデータに対して、前記補正を行って更新する更新手段と、を有することを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。 - 前記ジオメトリデータは、前記エリア内の領域について前記ジオメトリデータの信頼性が高い領域を表す情報を含み、
前記補正手段は、前記信頼性の高い領域で前記検出された前記対象物体について前記算出手段が算出した前記大きさを基に、前記信頼性が高くない領域に対応した前記ジオメトリデータについて前記補正を行うことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。 - 異なる位置に設置された二つ以上のカメラにより前記エリア内で重複して撮影された領域から前記検出されて前記算出された前記対象物体の大きさを基に、前記エリア内で前記重複して撮影されていない領域に対応した前記ジオメトリデータについて前記補正を行うことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。
- 前記検出手段は、一つのカメラにより所定の時間間隔の時間順に連続して前記撮影された画像から前記対象物体を検出し、前記時間順に連続した複数の画像について前記対象物体を追跡することを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。
- 前記補正手段は、前記時間順で前の画像について前記算出手段が算出した対象物体の大きさを、前記対象物体の前記既知の大きさとして保持することを特徴とする請求項11に記載の情報処理装置。
- 前記検出手段は、前記対象物体を追跡している際に他の対象物体との交差が生じた場合、前記交差する対象物体の三次元位置に基づいて前記追跡を継続することを特徴とする請求項11または12に記載の情報処理装置。
- 前記算出された前記対象物体の三次元位置を表示するための表示画像を生成する処理手段を有することを特徴とする請求項1から13のいずれか1項に記載の情報処理装置。
- 複数の前記対象物体の三次元位置が算出された場合、前記対象物体の三次元位置を基に、前記複数の対象物体をグループごとに分けて、前記対象物体ごとにグループ属性情報を付加する付加手段を有することを特徴とする請求項1から14のいずれか1項に記載の情報処理装置。
- 前記補正手段は、
前記算出された対象物体の大きさが前記対象物体の既知の大きさより大きい場合には、前記ジオメトリデータにおける床面の位置を、前記カメラの光軸方向の近い位置に補正し、
前記算出された対象物体の大きさが前記対象物体の既知の大きさより小さい場合には、前記ジオメトリデータにおける床面の位置を、前記カメラの光軸方向の遠い位置に補正し、
前記算出手段にて算出される前記対象物体の大きさが前記既知の大きさと合うようにすることを特徴とする請求項1から15のいずれか1項に記載の情報処理装置。 - 情報処理装置が実行する情報処理方法であって、
カメラにより撮影されるエリア内の床面上における三次元位置を特定可能なジオメトリデータを保持する保持工程と、
カメラにて撮影された画像から前記対象物体の画像内における位置を取得する検出工程と、
前記画像内における前記対象物体の位置に対応した前記ジオメトリデータを取得し、当該ジオメトリデータを用いて、前記対象物体の大きさを算出する大きさ算出工程と、
前記算出された対象物体の大きさと前記対象物体の既知の大きさとが異なる場合には、
前記算出工程にて算出される前記対象物体の大きさが前記既知の大きさと合うように、前記ジオメトリデータにおける床面の位置を補正する補正工程と、
前記画像内における前記対象物体の位置と前記ジオメトリデータとを基に前記対象物体の三次元位置を算出する位置算出工程と、
を有することを特徴とする情報処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186446A JP7224832B2 (ja) | 2018-10-01 | 2018-10-01 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186446A JP7224832B2 (ja) | 2018-10-01 | 2018-10-01 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020056644A JP2020056644A (ja) | 2020-04-09 |
JP7224832B2 true JP7224832B2 (ja) | 2023-02-20 |
Family
ID=70107001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018186446A Active JP7224832B2 (ja) | 2018-10-01 | 2018-10-01 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7224832B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021247228A1 (en) | 2020-06-03 | 2021-12-09 | Google Llc | Depth estimation based on object bottom position |
KR102473165B1 (ko) * | 2020-07-30 | 2022-12-01 | 한국과학기술연구원 | 3d 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 cctv 관제 시스템 |
JP6924455B1 (ja) * | 2020-09-17 | 2021-08-25 | 株式会社Qoncept | 軌跡算出装置、軌跡算出方法、軌跡算出プログラム |
WO2024023893A1 (ja) * | 2022-07-25 | 2024-02-01 | 三菱電機株式会社 | 人検出装置、人検出システム、プログラム及び人検出方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008286638A (ja) | 2007-05-17 | 2008-11-27 | Sogo Keibi Hosho Co Ltd | 身長推定装置および身長推定方法 |
JP2009017026A (ja) | 2007-07-02 | 2009-01-22 | Hitachi Kokusai Electric Inc | 座標変換方法及びパラメータ調整方法及び監視システム |
JP2011215082A (ja) | 2010-04-01 | 2011-10-27 | Nippon Telegr & Teleph Corp <Ntt> | 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム |
JP2013257349A (ja) | 2008-03-03 | 2013-12-26 | Toa Corp | カメラキャリブレーション結果検証装置および方法 |
JP2016225953A (ja) | 2015-06-03 | 2016-12-28 | 株式会社日立製作所 | カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法 |
JP2017103602A (ja) | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
JP2017126072A (ja) | 2012-06-08 | 2017-07-20 | サムスン エレクトロニクス カンパニー リミテッド | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126072A1 (ja) * | 2016-01-21 | 2017-07-27 | 株式会社日立製作所 | 画像認識システム、カメラ状態推定装置及び記憶媒体 |
-
2018
- 2018-10-01 JP JP2018186446A patent/JP7224832B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008286638A (ja) | 2007-05-17 | 2008-11-27 | Sogo Keibi Hosho Co Ltd | 身長推定装置および身長推定方法 |
JP2009017026A (ja) | 2007-07-02 | 2009-01-22 | Hitachi Kokusai Electric Inc | 座標変換方法及びパラメータ調整方法及び監視システム |
JP2013257349A (ja) | 2008-03-03 | 2013-12-26 | Toa Corp | カメラキャリブレーション結果検証装置および方法 |
JP2011215082A (ja) | 2010-04-01 | 2011-10-27 | Nippon Telegr & Teleph Corp <Ntt> | 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム |
JP2017126072A (ja) | 2012-06-08 | 2017-07-20 | サムスン エレクトロニクス カンパニー リミテッド | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 |
JP2016225953A (ja) | 2015-06-03 | 2016-12-28 | 株式会社日立製作所 | カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法 |
JP2017103602A (ja) | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020056644A (ja) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7224832B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11243072B2 (en) | Method for the three dimensional measurement of moving objects during a known movement | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP6195915B2 (ja) | 画像計測装置 | |
KR102085228B1 (ko) | 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 | |
CN107273846B (zh) | 一种人体体型参数确定方法及装置 | |
JP6377863B2 (ja) | 反射マップ表現による奥行きマップ表現の増補 | |
CN107924461B (zh) | 用于多因素图像特征配准和跟踪的方法、电路、设备、***及相关计算机可执行代码 | |
US20150287206A1 (en) | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method | |
KR101126626B1 (ko) | 광역 3차원 복원을 위한 시스템 및 방법 | |
JP2004340840A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
US9235895B2 (en) | Method for estimating direction of person standing still | |
JP5463584B2 (ja) | 変位計測方法、変位計測装置及び変位計測プログラム | |
CN116188558B (zh) | 基于双目视觉的立体摄影测量方法 | |
KR101469099B1 (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
US20220366716A1 (en) | Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program | |
JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP2008275366A (ja) | ステレオ3次元計測システム | |
KR20050061115A (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
US11263780B2 (en) | Apparatus, method, and program with verification of detected position information using additional physical characteristic points | |
JP4101478B2 (ja) | 人体端点検出方法及び装置 | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
JP2012160063A (ja) | 球体の検出方法 | |
JP2024501731A (ja) | 複数カメラによる速度測定方法及び速度測定装置 | |
JP7396364B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7224832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |