JP4185433B2 - リアルタイムの物体検出及び認識システム並びにコンピュータで実行可能なプログラム - Google Patents
リアルタイムの物体検出及び認識システム並びにコンピュータで実行可能なプログラム Download PDFInfo
- Publication number
- JP4185433B2 JP4185433B2 JP2003359387A JP2003359387A JP4185433B2 JP 4185433 B2 JP4185433 B2 JP 4185433B2 JP 2003359387 A JP2003359387 A JP 2003359387A JP 2003359387 A JP2003359387 A JP 2003359387A JP 4185433 B2 JP4185433 B2 JP 4185433B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- series
- recognition
- image
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
ここでは、認識という、中心視が非常に適した課題に、中心視を本格的に使用するシステムを説明する。関心のある物体はまず辺縁視カメラ[13]で獲得された情報を用いて本発明のリアルタイム視覚システムで検出され追尾される。検出事象がトリガとなって、ロボットはその視線を候補領域に向けることとなり、こうしてロボットは物体を視覚的に追跡し始める。検出された物体が静止しているとは仮定せず、認識の際には、物体の動きを考慮している。中心視による視界においては場所と形状がより正確に判断できるため、中心視カメラで獲得された画像に主成分分析(PCA)を適用して物体を認識した。適用ドメインとして、ヒューマノイドと対話する人がロボットに物体を示し、ロボットがその示された物体の正体に応じて反応する、という状況を考えた。
する。
本発明の物体検出追尾器は確率論的に実現される。観測された環境を幾つかのランダムプロセス(ブロッブ)で表す。uに位置し、色強度Iuを有する画素が、Θk、ただしk=1,…,K、のプロセスで生成される確率をP(Iu,u|Θk)で表すこととする。さらに、アウトライアープロセスΘ0を追加導入するが、これは他のプロセスでキャプチャされないデータをモデル化するものである。
辺縁画像内で興味を引く物体が検出されると、DBの目がその追跡を始める。この段階でのロボットの課題は、両辺縁画像内の物体の位置を、予め定められた点にできるだけ近付け、そこに保つことである。この目標は、全ての制御された関節(目の各々で2個、首で3個、トルソで3個)において、一組の簡略化されたマッピングを用いて達成される。提案されたマッピングは開ループ制御システムには簡略すぎるが、閉ループの場合は非常にうまくいく。このアプローチの詳細は別の論文[5]にある。
ヒューマノイドロボットにとって、物体の認識は重要な課題である。物体認識の以前のアプローチでは、マール及びニシムラ[7]の3次元再構築パラダイムを中心に実現されるのが支配的であったが、最近になって開発された認識システムは視点依存モデルを利用するものが多い。研究のほとんどは単一の画像からの物体認識に専念したものであるが、[3]を例として、時間の経過に伴う情報の重要性を指摘した幾つかの結果も発表されている。
主成分分析の基本的考え方は、全画像空間における物体画像の分布を最もよく説明する一組のベクトルを見出すことである。十分な詳細まで物体の画像を表すのに必要とされるベクトルの数は、通常、それらによって表される物体画像の次元よりはるかに小さい。
向きと大きさの変化に対し不変とするために、本発明の認識システムはブロッブ追尾システムの結果を利用する。このシステムは、各画像中の物体の位置のみでなく形状と向きも判断する。これは物体をサーチし追尾するEMアルゴリズムによるものである。すなわち、EMアルゴリズムでは、追尾された物体の位置、向き及び形状に関し対数尤度を最小にするためである。これによって、物体形状を近似する楕円を、固定されたサイズで両軸が新たな画像ウィンドウの座標軸に整列された楕円に変換するためのマッピングの計算が可能となる。結果として得られる同次座標でのマッピングは以下のアフィン変換で与えられる。
基本となる形では、固有空間法が照明条件の変化に影響されやすいことはよく知られている。画像をエッジオペレータでフィルタリングすればPCAをより頑健にできることが提案されている。これはエッジマップが照明の変化による影響を受けにくいからである。固有空間分解は、元の画像ではなくエッジマップにも適用できる。しかし、エッジは局在化されており、ブロッブパラメータの計算におけるわずかな誤差によって認識処理が破綻する恐れがある。
図7は辺縁視界プロセッサ40上で実行されてこの実施例の物体検出及び追尾を実現するメインプログラムの全体の制御構造を例示する。中心視界プロセッサ42上で実行されるプログラムもまた、同様の構造を有する。
戻り、ステップ524及び526でEMアルゴリズムを繰返す。
この発明の目標は、DBが、人の提示した物体を認識できるようにすることである。トレーニング段階では、ユーザは全ての関連の物体を提示することになっている。ヒューマノイドの前の常に同じ場所に物体を置くことは不可能なので、ユーザはこれを、予想される配置位置のあたりで平行移動させたり回転させたりする。これにより、物体認識のための数多くの視点の集合が生成される。ここではキャプチャされる視点の数を、物体あたり100個と設定した。
System Committee:全国テレビジョン方式委員会)カメラで提供される。インターレース効果に対処しなければならないことを避けるため、中心視画像を30Hz、320×240画素の解像度でキャプチャした。他方で、初期の検出、追尾及び追跡に用いられる周辺画像は毎秒60フィールド、全解像度でキャプチャした。物体全体が中心視画像に確実に含まれるように、物体はヒューマノイドに対しある距離で示されるので、物体が全画像をカバーすることは期待できない。ここでは物体を160×120画素のウィンドウサイズに変形するが、通常これによって元のサイズの中心視画像に比べてわずかなサブサンプリングが引き起こされる。しかしながら、これは周辺画像におけるサイズと比べれば依然として高い鮮鋭度である。
この実施例に従ったシステムを試験するため、幾つかの実験を行なった。全ての実験において、物体ごとに100個の画像を用い、トレーニング用画像を組合わせたものに対し主成分分析を行なった。
30L、30R DBの目
32L、32R 中心視カメラ
34L、34R 辺縁視カメラ
40 辺縁視界プロセッサ
42 中心視界プロセッサ
44 アクチュエータコントローラ
46 物体認識装置
60−78 アクチュエータ
Claims (9)
- リアルタイムの物体検出及び認識システムであって、
第1及び第2の一連の画像をキャプチャするための、ほぼ整列した光学軸を備えた第1のカメラ対を含み、前記第1の一連の画像は第1の解像度を有し、前記第2の一連の画像は前記第1の解像度より高い第2の解像度を有し、さらに、
前記第1の一連の画像を受取るように接続され、前記第1の一連の画像中の物体を検出し、検出された物体が前記第1の一連の画像中の第1の予め定められた位置に保たれるよう前記第1のカメラ対を移動させるための追尾手段と、
前記第2の一連の画像を受取るように接続され、前記第2の一連の画像中の第2の予め定められた位置にある物体を認識するための第1の認識手段と、
第3及び第4の一連の画像をキャプチャするための、ほぼ整列した光学軸を備えた第2のカメラ対とを含み、前記第3の一連の画像は前記第1の解像度を有し、前記第4の一連の画像は前記第2の解像度を有し、
前記追尾手段は、前記第1及び第3の一連の画像を受取るように接続され、前記第1及び第3の一連の画像中の物体を検出して、検出された物体が前記第1または第3のいずれかの一連の画像中のそれぞれ第1の予め定められた位置に保たれるよう前記第1及び第2のカメラ対を移動させるための手段を含む、物体検出及び認識システム。 - 前記第2の予め定められた位置は、前記第2の一連の画像の中心である、請求項1に記載のシステム。
- 前記第4の一連の画像を受取るように接続され、前記第4の一連の画像の中心の物体を認識するための第2の認識手段と、
前記第1の認識手段によって認識された物体と前記第2の認識手段によって認識された物体とが同一の物体であるか否かを判断するための手段とをさらに含む、請求項2に記載のシステム。 - 前記第1のカメラ対のカメラは、それぞれの光学軸が予め定められたずれ量で互いにオフセットされるように配置され、
前記第1の一連の画像の前記第1の予め定められた位置は、前記予め定められたずれ量に従って選択されたオフセット量で前記第1の一連の画像の中心からずれるように予め選択される、請求項3に記載のシステム。 - 前記第1の認識手段が
前記第2の一連の画像中の物体を検出するための検出手段と、
前記第2の一連の画像をフィルタリングするためのフィルタ手段と、
前記検出手段によって検出された物体の形状を予め定められた形に近似するための近似手段と、
物体の形状を近似する前記予め定められた形を、固定された大きさで、両軸が予め規定された座標系のx軸及びy軸に整列された予め定められた楕円へと変形させるための変形手段と、
前記変形手段によって変形された画像中の物体を認識するための手段とを含む、請求項4に記載のシステム。 - 前記認識手段が、前記変形手段によって変形された画像を主成分分析によって認識するための手段を含む、請求項5に記載のシステム。
- 前記第1の認識手段が、前記第2の一連の画像を受取るように接続され、前記第2の一連の画像の連続した画像の各々における前記第2の予め定められた位置にある物体を認識するための認識手段を含む、請求項1から請求項7のいずれかに記載のシステム。
- コンピュータ上で実行されると、当該コンピュータに請求項1から請求項8のいずれかに記載の機能の全てを行なわせる、コンピュータで実行可能なプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003359387A JP4185433B2 (ja) | 2003-10-20 | 2003-10-20 | リアルタイムの物体検出及び認識システム並びにコンピュータで実行可能なプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003359387A JP4185433B2 (ja) | 2003-10-20 | 2003-10-20 | リアルタイムの物体検出及び認識システム並びにコンピュータで実行可能なプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005122617A JP2005122617A (ja) | 2005-05-12 |
JP2005122617A5 JP2005122617A5 (ja) | 2005-09-08 |
JP4185433B2 true JP4185433B2 (ja) | 2008-11-26 |
Family
ID=34615632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003359387A Expired - Fee Related JP4185433B2 (ja) | 2003-10-20 | 2003-10-20 | リアルタイムの物体検出及び認識システム並びにコンピュータで実行可能なプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4185433B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102682449A (zh) * | 2012-04-25 | 2012-09-19 | 中国人民解放军军事医学科学院卫生装备研究所 | 软组织核磁图像自适应外力水平集自动分割及实现方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4483334B2 (ja) * | 2004-02-18 | 2010-06-16 | 富士ゼロックス株式会社 | 画像処理装置 |
US9307926B2 (en) * | 2012-10-05 | 2016-04-12 | Volcano Corporation | Automatic stent detection |
JP6814453B1 (ja) * | 2020-05-21 | 2021-01-20 | 株式会社エクサウィザーズ | 撮像装置 |
WO2023176562A1 (ja) * | 2022-03-17 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
-
2003
- 2003-10-20 JP JP2003359387A patent/JP4185433B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102682449A (zh) * | 2012-04-25 | 2012-09-19 | 中国人民解放军军事医学科学院卫生装备研究所 | 软组织核磁图像自适应外力水平集自动分割及实现方法 |
CN102682449B (zh) * | 2012-04-25 | 2014-12-17 | 中国人民解放军军事医学科学院卫生装备研究所 | 软组织核磁图像自适应外力水平集自动分割及实现方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2005122617A (ja) | 2005-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ballard | Animat vision | |
Harville et al. | Fast, integrated person tracking and activity recognition with plan-view templates from a single stereo camera | |
McKenna et al. | Face Recognition in Dynamic Scenes. | |
Sedai et al. | A Gaussian process guided particle filter for tracking 3D human pose in video | |
Ma et al. | A probabilistic framework for object search with 6-dof pose estimation | |
Krzeszowski et al. | Gait recognition based on marker-less 3D motion capture | |
Ude et al. | Making object learning and recognition an active process | |
Zhu et al. | Real time 3d face pose tracking from an uncalibrated camera | |
Ude et al. | Combining peripheral and foveal humanoid vision to detect, pursue, recognize and act | |
JP4185433B2 (ja) | リアルタイムの物体検出及び認識システム並びにコンピュータで実行可能なプログラム | |
Favaro et al. | AdaBoost | |
Werman | Affine invariants | |
Demirdjian | Combining geometric-and view-based approaches for articulated pose estimation | |
Sherrah et al. | Fusion of 2D face alignment and 3D head pose estimation for robust and real-time performance | |
Ude et al. | Support vector machines and gabor kernels for object recognition on a humanoid with active foveated vision | |
Zelinsky et al. | A novel visual interface for human-robot communication | |
Köser | Affine Registration | |
Sultani et al. | Action recognition in real-world videos | |
Menezes et al. | Towards an interactive humanoid companion with visual tracking modalities | |
Korč et al. | Detection and tracking of humans in single view sequences using 2D articulated model | |
Gross et al. | Probabilistic multi-modal people tracker and monocular pointing pose estimator for visual instruction of mobile robot assistants | |
Yuasa et al. | Precise pupil contour detection based on minimizing the energy of pattern and edge | |
Ikeuchi | Aspect Graph | |
Hogue et al. | Active Stereo Vision | |
Kawashima | Active Appearance Models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050513 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080905 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |