JP2006285358A - エッジトラッキング方法及びそのコンピュータプログラム - Google Patents
エッジトラッキング方法及びそのコンピュータプログラム Download PDFInfo
- Publication number
- JP2006285358A JP2006285358A JP2005100997A JP2005100997A JP2006285358A JP 2006285358 A JP2006285358 A JP 2006285358A JP 2005100997 A JP2005100997 A JP 2005100997A JP 2005100997 A JP2005100997 A JP 2005100997A JP 2006285358 A JP2006285358 A JP 2006285358A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- projected
- model
- edges
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】対象物の一連の画像中でエッジをトラッキングする方法は、対象物のモデルを準備するステップと、対象物のモデルのエッジを画像の画像平面に投影するステップ(180)と、画像平面上に投影されたエッジの各々の周囲の予め定められた区域内で画像のエッジ画素の組を探索するステップ(182、184及び186)と、投影されたエッジの各々のエッジ画素の組に当てはまる線分を求めるステップ(188)と、投影されたエッジの各々について、この線分を規定する所定のパラメータの組でその線分を表すステップ(190)と、この線分を用いて対象物のモデルを更新するステップと、を含む。
【選択図】 図6
Description
A.ブレーク及びM.イサード、「アクティブ輪郭」、スプリンガー、1998年(A. Blake and M. Isard. Active Contours. Springer, 1998.) J.ドイチャー、A.ブレーク、及びI.レイド、「アニールされたパーティクルフィルタリングによる関節により連結された物体のモーションキャプチャ」、コンピュータビジョン及びパターン認識(CVPR)、2126−2133ページ、ヒルトンヘッド、USA、2000年(J. Deutscher, A. Blake, and I. Reid. Articulated body motion capture by annealed particle filtering. In Computer Vision and Pattern Recognition (CVPR), pages 2126-2133, Hilton Head, USA, 2000.) J.ドイチャー、A.ダビソン、及びI.レイド、「連接された物体のモーションキャプチャに関連する高次元探索空間の自動的パーティショニング」、コンピュータビジョン及びパターン認識(CVPR)、669−676ページ、カウアイ、USA、2001年(J. Deutscher, A. Davison, and I. Reid. Automatic partitioning of high dimensional search spaces associated with articulated body motion capture. In Computer Vision and Pattern Recognition (CVPR), pages 669-676, Kauai, USA, 2001.) M.イサード及びA.ブレーク、「濃縮-視覚的トラッキングのための条件付き密度伝搬」、コンピュータビジョン国際ジャーナル、29(1):5−28、1998年(M. Isard and A. Blake. Condensation - conditional density propagation for visual tracking. International Journal of Computer Vision, 29(1):5-28, 1998.) J.マコーミック、「視覚的トラッキングのための確率モデル及び確率的アルゴリズム」、オックスフォード大学、博士論文。UK、2000年(J. MacCormick. Probabilistic models and stochastic algorithms for visual tracking. PhD thesis, University of Oxford, UK, 2000.) J.マコーミック及びM.イサード、「パーティション化されたサンプリング、関節により連結された物体、及びインターフェース品質の手のトラッキング」、コンピュータビジョンヨーロッパ会議(ECCV)、3−19ページ、ダブリン、アイルランド、2000年(J. MacCormick and M. Isard. Partitioned sampling, articulated objects, and interface-quality hand tracking. In European Conference Computer Vision (ECCV), pages 3-19, Dublin, Ireland, 2000.) H.サイデンブラー、「単眼のビデオシーケンスにおける3Dの人の動きの確率論的トラッキングと再構築」、王立工科大学博士論文、ストックホルム、スウェーデン、2001年(H. Sidenbladh. Probabilistic Tracking and Reconstruction of 3D Human Motion in Monocular Video Sequences. PhD thesis, Royal Institute of Technology, Stockholm, Sweden, 2001.)
この実施例では、ベイズのフレームワークによるパーティクルフィルタリングを用いて現在の形状の確率分布を計算する。濃縮アルゴリズムとしても知られるパーティクルフィルタリングは、非特許文献4で紹介されているように、一般に輪郭トラッキングのために(非特許文献1、5、6)、特に非特許文献2及び7において示されるように人体のモーションキャプチャのために、適用可能な頑健な技術であることがわかっている。
人体モデルの形状sの投影エッジと現在の入力画像zとが与えられると、人体のモーションキャプチャシステムのエッジの手がかりのための尤度関数p(z|s)は、投影されたエッジの組を与える形状が適切な形状である尤度、すなわちエッジ画像に最も合致する尤度を計算する。ここで人体モデルの形状のエッジを「投影する」とは、エッジを予め定められた画像平面に投影し、画像平面上の投影されたエッジの画像の座標を計算することを意味する。
キャニーのエッジ検出器(Canny Edge Detector)等の高レベルエッジ検出器は、一般に、1画素幅の線を生成するので、ある特定の画素がエッジの一部であるかどうかのテストを複雑にするか、又は不適当にする。ドイチャーは非特許文献2で、階調の勾配を用いたエッジ検出マスクを用い、この結果をしきい値処理してスプリアスエッジを除去し、これに続いてガウス平滑化マスクを適用して画素マップを作成することを提案しており、このマップでは各画素値はそのエッジにどの程度近接しているかに関連づけられている。こうすることによって、画素があるエッジの一部であるか否かのテストと、そのエッジへの近接度の計算とが1回の動作で解決できる。最大値を見出すためとループ管理のために必要とされるさらに3つの動作を考慮すると、基本的動作の数は以下の式で表される。
この実施の形態の戦略は、処理ステップをもう一歩進めて、対象エッジの幾何学的な表現を抽出することである。このために、この実施の形態では、オン−ザ−フライで(すぐさま)のエッジ検出という基本的な考え方を用いる。これは、人体モデルによって与えられる情報をエッジ検出アルゴリズムに組込むというものである。主な違いは、この実施の形態ではパーティクルの各々に対してアルゴリズムを行なうのではなく、これを画像の前処理に用いることである。その後このアルゴリズムは、人体モデルの投影されたエッジに対応する点の各組に当てはまる線分(回帰直線)を求めることで拡張される。
人体モデルをエッジ検出に組込む主な利点は以下の2つである。
直線の対の組が得られた後、尤度の計算のために誤差尺度を定義することになる。理論的には、2Dで2つの直線間の距離を定義できるのは、2直線が平行の場合のみである。しかし、図2で示すように、線Eと線分/AB40又は42(ここで「/」は線分を表すものとし、本来文字ABの上に表記すべきものである。)との尺度を以下のように定義できる。基本的アルゴリズムによって計算される誤差尺度は、ディスクリートな点での観測値に基づいて計算された、直線Eと線分/AB40又は42との平均距離である。この平均距離は、図2に例示されるように、総面積を長さ/A’B’で除したものに等しい。従って、誤差尺度は以下のように計算される。
前処理ステップが成功し、エッジが正確に抽出されれば、本形態の新たな誤差尺度はより正確なので、より有効なアルゴリズムが得られる。エッジを成功裏に抽出するためには、以下の2つの条件が満たされなければならない。
このセクションでは、基本アルゴリズムの効率を新たなアルゴリズムのそれと理論上で比較する。この考察は、セクション6で提示するテスト結果で検証する。最大解像度は、Δ=1を選択することで達成される。以下の考察では、δ=15を選択する。投影された全エッジの長さの合計は、ここで提示された画像シーケンスではL≒1500(画素)である。
T’≒ 90 (7)
個の基本演算に相当するものであり、これは毎秒60Nfの作業量を意味する。基本アルゴリズムで必要とされる基本演算数と比較すると、検討された例ではこれはT(1500)/T’=2・103倍の高速化を意味する。しかし、システム全体では、実際の高速化はこれを下回る。なぜなら、この最適化された実現例では、人体モデルの運動と結果として得られる2Dの輪郭との計算もまた、各パーティクルに対して行なう必要があり、これがボトルネックとなるからである。尤度関数の計算とシステムとの高速化の実際については、セクション6で示す。
入力画像シーケンスのフレームレートが低いと、どのようなマーカ無しの人体のモーションキャプチャシステムにとっても不利となる。以下では、同じ動きを第1のフレームレートf1と、f2<f1である第2のフレームレートf2でキャプチャし、この結果、画像シーケンスV1及びV2がそれぞれ得られたと仮定する。この場合、V2での連続画像の関節部の各々での角度変化は、V1と比べてf1/f2倍だけ大きい。総探索空間はDOFの数dによって指数関数的に増大するので、探索空間のサイズs(V1)とs(V2)との関係は以下で与えられる。
5.1 構造
図4はこの発明の一実施の形態に従った人体のモーションキャプチャ(Human Motion Capture:HMC)システム124を示す。図4を参照して、HMCシステム124は、ロボットの頭部に比較的短い距離をおいて装着された2台のカメラからの2つの画像120及び122を受け、最も確からしい人体モデルのパラメータ126を出力する。2台のカメラを使うこと、すなわち画像対のシーケンスを処理することで、リアルな3Dの動きを抽出することが可能である。
この実施例のHMCシステム124は以下のように動作する。図4を参照して、2つの画像120及び122が与えられると、ガウス平滑化モジュール140が各画像を平滑化し、ノイズを除去する。このように処理された画像は前処理モジュール142に与えられる。
本発明者らは、この実施例の新たなアルゴリズムの効率を、基本アルゴリズムを利用したシステム及びオン−ザ−フライのエッジ検出に基づくアルゴリズムと比較した。結果を表1に示す。
この明細書で、発明者らは、パーティクルフィルタを用いた、エッジトラキングのための、高度に最適化された尤度関数を備えた人体のモーションキャプチャシステムを提示した。用いられたアルゴリズムを詳細に説明し、効率と有効性とを検討し、通常のアプローチと理論的に比較し、結果を実際に検証した。この実施の形態で用いられるアルゴリズムの唯一の付加的な条件である、少なくとも30Hz、好ましくは60Hz以上という高いカメラフレームレートは、制限というよりはむしろ、いかなるリアルタイムの人間モーションキャプチャシステムでも、理にかなった選択というべきであろう。
60及び62 回帰直線
120及び122 画像
124 HMCシステム
126 人体モデルパラメータ
140 ガウス平滑化モジュール
142 前処理モジュール
144 新形状組予測モジュール
146 尤度計算モジュール
148 PD記憶部
150 平均形状計算モジュール
152 平均形状記憶部
160 エッジ抽出モジュール
162 肌色重心抽出モジュール
164 着衣色マップ計算モジュール
168 深度マップ計算モジュール
Claims (6)
- 対象物の一連の画像中においてエッジをトラッキングする方法であって、
前記対象物の形状を記述するモデルを準備するステップと、
前記対象物のモデルのエッジを前記画像の画像平面に投影するステップと、
前記画像平面上に投影されたエッジの各々の周囲の予め定められた区域内で前記画像のエッジ画素の組を探索するステップと、
前記投影されたエッジの各々のエッジ画素の組について線分を当てはめるステップと、
前記投影されたエッジの各々について、前記線分を規定する所定のパラメータの組でその線分を表すステップと、
前記線分を用いて対象物のモデルを更新するステップとを含む、エッジトラッキング方法。 - 前記探索するステップが、
前記投影されたエッジの各々について探索点の組を決定するステップと、
前記投影されたエッジの各々の前記探索点の各々について、投影されたエッジの両側において、前記投影されたエッジと交差する方向の予め定められた距離内に存在する、画像の高コントラスト点を探索するステップとを含む、請求項1に記載の方法。 - 前記投影されたエッジと交差する前記方向は、前記投影されたエッジと直交する方向である、請求項2に記載の方法。
- 前記決定するステップが、
前記投影されたエッジの各々について、一定の距離をあけて前記探索点の組を決定するステップを含む、請求項2または請求項3に記載の方法。 - 前記モデルは、前記モデルのとり得る複数個の形状とそれぞれに関連する確率とで記述され、前記更新するステップは
前記モデルの形状の確率分布関数のうち選択されたもののパーティクルにノイズを加えることにより、前記モデルの形状の新たな組を予測するステップと、
前記モデルの形状の新たな組の各々のエッジの組と、前記エッジ画素の組との間で所定の誤差尺度を計算するステップと、
形状の前記新たな組の各形状に、前記計算するステップで計算された関連の誤差尺度に従って重みを割当てるステップと、
それぞれの重みで重み付けされた新たな形状の総和を計算することによって、新たなモデルを計算するステップとを含む、請求項1〜請求項4のいずれかに記載の方法。 - コンピュータ上で実行されると、請求項1〜請求項5のいずれかに記載の全てのステップを当該コンピュータに実行させる、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005100997A JP4836065B2 (ja) | 2005-03-31 | 2005-03-31 | エッジトラッキング方法及びそのコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005100997A JP4836065B2 (ja) | 2005-03-31 | 2005-03-31 | エッジトラッキング方法及びそのコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006285358A true JP2006285358A (ja) | 2006-10-19 |
JP2006285358A5 JP2006285358A5 (ja) | 2008-04-17 |
JP4836065B2 JP4836065B2 (ja) | 2011-12-14 |
Family
ID=37407260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005100997A Expired - Fee Related JP4836065B2 (ja) | 2005-03-31 | 2005-03-31 | エッジトラッキング方法及びそのコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4836065B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009034709A1 (ja) | 2007-09-11 | 2009-03-19 | Panasonic Corporation | 画像処理装置及び画像処理方法 |
WO2009113231A1 (ja) * | 2008-03-14 | 2009-09-17 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
WO2015104969A1 (ja) * | 2014-01-09 | 2015-07-16 | ソニー株式会社 | 映像信号処理装置、映像信号処理方法およびカメラ装置 |
JP2015212861A (ja) * | 2014-05-01 | 2015-11-26 | 日本電信電話株式会社 | 多関節物体追跡装置、多関節物体追跡方法、及びプログラム |
CN110073410A (zh) * | 2016-12-15 | 2019-07-30 | Trw有限公司 | 跟踪场景中的对象的方法 |
CN115442521A (zh) * | 2022-08-08 | 2022-12-06 | 杭州华橙软件技术有限公司 | 摄像控制方法及相关装置、摄像机和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005973A (ja) * | 1999-04-20 | 2001-01-12 | Atr Media Integration & Communications Res Lab | カラー画像による人物の3次元姿勢推定方法および装置 |
JP2001266159A (ja) * | 2000-03-17 | 2001-09-28 | Toshiba Corp | 物体領域情報生成方法及び物体領域情報生成装置並びに近似多角形生成方法及び近似多角形生成装置 |
JP2003216951A (ja) * | 2001-12-03 | 2003-07-31 | Microsoft Corp | 複数のキューを使用する複数の個人の自動検出および追跡の方法、システムおよびコンピュータ可読媒体 |
-
2005
- 2005-03-31 JP JP2005100997A patent/JP4836065B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005973A (ja) * | 1999-04-20 | 2001-01-12 | Atr Media Integration & Communications Res Lab | カラー画像による人物の3次元姿勢推定方法および装置 |
JP2001266159A (ja) * | 2000-03-17 | 2001-09-28 | Toshiba Corp | 物体領域情報生成方法及び物体領域情報生成装置並びに近似多角形生成方法及び近似多角形生成装置 |
JP2003216951A (ja) * | 2001-12-03 | 2003-07-31 | Microsoft Corp | 複数のキューを使用する複数の個人の自動検出および追跡の方法、システムおよびコンピュータ可読媒体 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009034709A1 (ja) | 2007-09-11 | 2009-03-19 | Panasonic Corporation | 画像処理装置及び画像処理方法 |
WO2009113231A1 (ja) * | 2008-03-14 | 2009-09-17 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
JPWO2009113231A1 (ja) * | 2008-03-14 | 2011-07-21 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
JP4756660B2 (ja) * | 2008-03-14 | 2011-08-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
US8331619B2 (en) | 2008-03-14 | 2012-12-11 | Sony Computer Entertainment Inc. | Image processing apparatus and image processing method |
US10469729B2 (en) | 2014-01-09 | 2019-11-05 | Sony Corporation | Video signal processing device, video signal processing method, and camera device |
JPWO2015104969A1 (ja) * | 2014-01-09 | 2017-03-23 | ソニー株式会社 | 映像信号処理装置、映像信号処理方法およびカメラ装置 |
WO2015104969A1 (ja) * | 2014-01-09 | 2015-07-16 | ソニー株式会社 | 映像信号処理装置、映像信号処理方法およびカメラ装置 |
US10778881B2 (en) | 2014-01-09 | 2020-09-15 | Sony Corporation | Video signal processing device, video signal processing method, and camera device |
JP2015212861A (ja) * | 2014-05-01 | 2015-11-26 | 日本電信電話株式会社 | 多関節物体追跡装置、多関節物体追跡方法、及びプログラム |
CN110073410A (zh) * | 2016-12-15 | 2019-07-30 | Trw有限公司 | 跟踪场景中的对象的方法 |
CN110073410B (zh) * | 2016-12-15 | 2023-06-30 | Trw有限公司 | 跟踪场景中的对象的方法 |
CN115442521A (zh) * | 2022-08-08 | 2022-12-06 | 杭州华橙软件技术有限公司 | 摄像控制方法及相关装置、摄像机和存储介质 |
CN115442521B (zh) * | 2022-08-08 | 2023-10-27 | 杭州华橙软件技术有限公司 | 摄像控制方法及相关装置、摄像机和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4836065B2 (ja) | 2011-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3016071B1 (en) | Estimating device and estimation method | |
EP2858008B1 (en) | Target detecting method and system | |
US8340400B2 (en) | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features | |
EP2548174B1 (en) | Method and apparatus for trajectory estimation, and method for segmentation | |
US8711206B2 (en) | Mobile camera localization using depth maps | |
KR101532864B1 (ko) | 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 | |
CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US9672634B2 (en) | System and a method for tracking objects | |
US9191650B2 (en) | Video object localization method using multiple cameras | |
WO2013090864A1 (en) | Learning image processing tasks from scene reconstructions | |
JP2006509211A (ja) | 多重同期ビデオストリームからの動的奥行き復元 | |
JP2008176504A (ja) | 物体検出装置及びその方法 | |
JP4836065B2 (ja) | エッジトラッキング方法及びそのコンピュータプログラム | |
JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
JP2014235743A (ja) | 深度画像に基づく手の位置確定方法と設備 | |
KR102295183B1 (ko) | Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법 | |
KR102494552B1 (ko) | 실내 복원 방법 | |
JP6659095B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Agouris et al. | Automated spatiotemporal change detection in digital aerial imagery | |
CN114399532A (zh) | 一种相机位姿确定方法和装置 | |
Cheung et al. | Optimization-based automatic parameter tuning for stereo vision | |
Weissenfeld et al. | Robust rigid head motion estimation based on differential evolution | |
JP2007257489A (ja) | 画像処理装置および画像処理方法 | |
JP7341712B2 (ja) | 画像処理装置、画像処理方法、撮像装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110830 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110920 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141007 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |