JP5759170B2 - 追尾装置およびその制御方法 - Google Patents
追尾装置およびその制御方法 Download PDFInfo
- Publication number
- JP5759170B2 JP5759170B2 JP2010291128A JP2010291128A JP5759170B2 JP 5759170 B2 JP5759170 B2 JP 5759170B2 JP 2010291128 A JP2010291128 A JP 2010291128A JP 2010291128 A JP2010291128 A JP 2010291128A JP 5759170 B2 JP5759170 B2 JP 5759170B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking target
- tracking
- similarity
- target position
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
・記憶したテンプレート画像、もしくは追尾実施時に逐次更新されるテンプレート画像との一致度の高い領域を探すパターンマッチング法、
・現フレームと前フレームとの画像差分から対象位置を探す相対差分法、
・対象物から単一あるいは複数の色や輝度、もしくはヒストグラムを抽出し、それらと一致度の高い領域を探索する色・輝度一致法、などが知られている。
動画像において追尾対象の位置を追尾する追尾装置であって、
処理対象のフレーム画像を複数のブロックに分割し、前記複数のブロックの各々について前記追尾対象の特徴情報との類似度を算出する類似度算出手段と、
前記類似度算出手段によって算出された類似度が最も高いブロックを、新たな追尾対象位置として検出する検出手段と、
前記処理対象のフレーム画像から、前回の追尾対象位置と前記新たな追尾対象位置とを結ぶ線分が通るブロックを前記複数のブロックから抽出する抽出手段と、
前記抽出手段により抽出されたブロックの少なくとも一つにおいて前記類似度算出手段により算出された類似度が第1の所定値よりも小さく、前記複数のブロックのうちの前記新たな追尾対象位置と前記前回の追尾対象位置の各々に対応するブロックについて前記類似度算出手段が算出した類似度が前記第1の所定値以上の場合に、前記検出手段が検出した前記新たな追尾対象位置が追尾対象外であると判定する判定手段と、を備える。
・画像全体に一律の増幅率でレベルを増減させる機能、
・元の信号レベルの大小に応じて信号レベルを変換するトーンカーブ(ガンマ)機能、
・画面内の領域ごとの周波数成分に応じた増幅率でレベルを増減させる機能、
など、様々な画像信号レベル調節が可能となっている。
・人物顔検出機能により検出された顔検出結果を用い、顔の位置やサイズに合わせて測距領域や測光領域を顔近傍に設定し、
・設定された測距領域や測光領域から得られた距離情報や輝度情報を用いてAF、AEを行う、
というような形態が知られている。また、顔検出機能が搭載されていない場合、画面内に測距領域を複数設定し、それぞれから得られた距離情報を総合的に判断し、たとえば近距離側を優先してAF制御を行うといった形態が知られている。
(式4)によれば、最高評価値が100%、ThRatioが40%の場合、有効色類似度は40%となり、類似度が40%以上の連続領域が追尾対象領域となる。図5(a)の例では網掛けで示した連続領域がそれに該当し、この連続領域を囲ったもの(本実施形態では、連続領域を内包する矩形)が表示すべき追尾対象領域317となる。この追尾対象領域を画像に重畳表示したイメージが図3(c)となる。
・あらかじめ画像表示装置に指定枠311を表示し、指示ボタンが押下された時点の指定枠内に存在する物体を追尾対象とする、
・タッチパネル式の画像表示装置において、画面の任意の位置を押下することでその位置(たとえば押下位置313)の物体を追尾対象とする、
などにより行うことができる。追尾対象指定がある場合、システム制御部60は追尾対象の特徴抽出処理を行い(S110)、図4(b)に示したように追尾対象の特徴をメモリ(たとえば一時記憶メモリ30)に記憶する。ライブビュー表示中、システム制御部60は、ライブ画像の露出、色、ピントを被写体に合わせ続けるためのAE/AWB/AF処理を行う(S113,S115,S117)。また、これらと並行して、追尾が開始されていれば(S111、YES)、システム制御部60は、図17の追尾対象探索処理を実行し(S201)、その追尾結果はたとえばAF処理でのピント合わせ処理や、AE処理に用いられる。
・今回の追尾対象位置の類似度MaxEvaが第1の所定値ThTop1超であること、
・前回の追尾対象位置の類似度PreTargetEvaが第2の所定値ThTop2超であること、
・追尾対象位置の移動間の最小評価値MinEvaが第3の所定値ThBottom未満であること、
の3つが成り立つことをもって、他の物体への誤追尾発生と判断する(S223)。なお、この判断条件は一例にすぎず、「追尾対象位置の移動間の最小評価値MinEvaが第3の所定値ThBottom未満であること」のみをもって誤追尾の発生を判定するようにしてもよい。誤追尾発生と判断された場合、すなわち、ステップS217で仮確定された追尾対象位置が追尾対象外であると判定する。誤追尾発生が検出された場合には、ただちに当該追尾対象に関する追尾処理を中止するようにしてもよいが、以下のような更に2つの選択肢を設ける処理を行ってもよい。すなわち、システム制御部60が、前回の追尾対象位置の類似度が所定値ThTargetEva2より大きいか否か、換言すれば、前回の追尾位置のままでもある程度の類似度を持っているか否かを判断する。そして、前回の追尾位置のままでもある程度の類似度を持つと判断したならば、システム制御部60は、新たに検出した追尾対象位置へ移動することなく、前回の追尾位置を保持する。すなわち、S217で仮確定したTargetPosX,Yに、前回の追尾対象位置PreTargetPosX,Yを書き戻すことで追尾位置を保持するようにする(S229,S231)。他方、S225にて類似度が所定値ThTargetEva2を下回っている場合、システム制御部60は、前回の追尾対象位置には類似する物体が既にいなくなっている判断し、追尾を中断するために“LOST”と判定する(S227)。
Claims (11)
- 動画像において追尾対象の位置を追尾する追尾装置であって、
処理対象のフレーム画像を複数のブロックに分割し、前記複数のブロックの各々について前記追尾対象の特徴情報との類似度を算出する類似度算出手段と、
前記類似度算出手段によって算出された類似度が最も高いブロックを、新たな追尾対象位置として検出する検出手段と、
前記処理対象のフレーム画像から、前回の追尾対象位置と前記新たな追尾対象位置とを結ぶ線分が通るブロックを前記複数のブロックから抽出する抽出手段と、
前記抽出手段により抽出されたブロックの少なくとも一つにおいて前記類似度算出手段により算出された類似度が第1の所定値よりも小さく、前記複数のブロックのうちの前記新たな追尾対象位置と前記前回の追尾対象位置の各々に対応するブロックについて前記類似度算出手段が算出した類似度が前記第1の所定値以上の場合に、前記検出手段が検出した前記新たな追尾対象位置が追尾対象外であると判定する判定手段と、を備えることを特徴とする追尾装置。 - 前記検出手段が検出した前記新たな追尾対象位置が追尾対象外でないと判定された場合に、前記新たな追尾対象位置を前記判定手段が使用する前回の追尾対象位置として保持する保持手段をさらに有することを特徴とする請求項1に記載の追尾装置。
- 前記検出手段は、更に前記新たな追尾対象位置の周辺のブロックの類似度に基づいて該新たな追尾対象位置を含む1つまたは複数のブロックからなる追尾対象領域を検出し、
前記判定手段は、更に、前記前回の追尾処理において検出された前回の追尾対象領域と前記新たな追尾対象領域とのサイズの変化量が第2の所定値よりも大きい場合に、前記新たな追尾対象位置が追尾対象外であると判定することを特徴とする請求項1または2に記載の追尾装置。 - 前記判定手段は、前記前回の追尾対象位置から前記新たな追尾対象位置への移動量が第3の所定値を超えている場合に前記サイズの変化量による判定を行うことを特徴とする請求項3に記載の追尾装置。
- 前記判定手段は、前記抽出されたブロックのすべての類似度が前記第1の所定値以上である場合に、前記サイズの変化量による判定を行うことを特徴とする請求項3または4に記載の追尾装置。
- 前記特徴情報は、追尾対象の輝度情報、色情報、コントラスト情報、エッジ情報の少なくともいずれかであることを特徴とする請求項1乃至5のいずれか1項に記載の追尾装置。
- 前記判定手段により前記新たな追尾対象位置が追尾対象外であると判定された場合、前記追尾対象に関する追尾処理を中止することを特徴とする請求項1乃至6のいずれか1項に記載の追尾装置。
- 前記判定手段により前記新たな追尾対象位置が追尾対象外であると判定された場合、前記前回の追尾位置が新たな追尾位置として決定されることを特徴とする請求項1乃至7のいずれか1項に記載の追尾装置。
- 動画像において追尾対象の位置を追尾する追尾装置の制御方法であって、
類似度算出手段が、処理対象のフレーム画像を複数のブロックに分割し、前記複数のブロックの各々について前記追尾対象の特徴情報との類似度を算出する類似度算出工程と、
検出手段が、前記類似度算出工程で算出された類似度が最も高いブロックを、新たな追尾対象位置として検出する検出工程と、
抽出手段が、前記処理対象のフレーム画像から、前回の追尾対象位置と前記新たな追尾対象位置とを結ぶ線分が通るブロックを前記複数のブロックから抽出する抽出工程と、
判定手段が、前記抽出工程により抽出されたブロックの少なくとも一つにおいて前記類似度算出工程で算出された類似度が第1の所定値よりも小さく、前記複数のブロックのうちの前記新たな追尾対象位置と前記前回の追尾対象位置の各々に対応するブロックについて前記類似度算出工程で算出した類似度が前記第1の所定値以上の場合に、前記検出工程で検出された前記新たな追尾対象位置が追尾対象外であると判定する判定工程と、を有することを特徴とする追尾装置の制御方法。 - 更新手段が、前記検出工程で検出された前記新たな追尾対象位置が追尾対象外でないと判定された場合に、前記新たな追尾対象位置を前記判定工程で使用される前回の追尾対象位置としてメモリに保持する保持工程をさらに有することを特徴とする請求項9に記載の追尾装置の制御方法。
- コンピュータを、請求項1乃至8のいずれか1項に記載された追尾装置の各手段として機能させるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010291128A JP5759170B2 (ja) | 2010-12-27 | 2010-12-27 | 追尾装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010291128A JP5759170B2 (ja) | 2010-12-27 | 2010-12-27 | 追尾装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012138013A JP2012138013A (ja) | 2012-07-19 |
JP2012138013A5 JP2012138013A5 (ja) | 2014-02-13 |
JP5759170B2 true JP5759170B2 (ja) | 2015-08-05 |
Family
ID=46675356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010291128A Expired - Fee Related JP5759170B2 (ja) | 2010-12-27 | 2010-12-27 | 追尾装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5759170B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9479677B2 (en) * | 2012-09-05 | 2016-10-25 | Intel Corproation | Protocol for communications between platforms and image devices |
KR101426864B1 (ko) | 2013-01-17 | 2014-08-07 | 국방과학연구소 | 근거리 열상 표적추적을 위한 영역기반 경계향상 방법 |
CN104346811B (zh) * | 2014-09-30 | 2017-08-22 | 深圳市华尊科技股份有限公司 | 基于视频图像的目标实时追踪方法及其装置 |
KR101732115B1 (ko) * | 2015-12-11 | 2017-05-02 | 주식회사 텍트원 | 감시카메라를 이용한 객체 추적 방법 및 장치 |
JPWO2018235219A1 (ja) * | 2017-06-22 | 2020-03-19 | 日本電気株式会社 | 自己位置推定方法、自己位置推定装置および自己位置推定プログラム |
JP7104523B2 (ja) | 2018-02-05 | 2022-07-21 | キヤノン株式会社 | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム |
KR101897235B1 (ko) * | 2018-03-20 | 2018-09-10 | 키스톤앤컴퍼니(주) | 지능형 화면 출력 장치, 시스템 및 방법 |
JP6988698B2 (ja) * | 2018-05-31 | 2022-01-05 | トヨタ自動車株式会社 | 物体認識装置 |
JP6579727B1 (ja) | 2019-02-04 | 2019-09-25 | 株式会社Qoncept | 動体検出装置、動体検出方法、動体検出プログラム |
JP2022076369A (ja) * | 2020-11-09 | 2022-05-19 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4302801B2 (ja) * | 1998-10-12 | 2009-07-29 | 株式会社日立国際電気 | 物体追跡方法及び物体追跡装置 |
JP4062987B2 (ja) * | 2002-06-25 | 2008-03-19 | 松下電工株式会社 | 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラム |
GB2395779A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Face detection |
JP4074571B2 (ja) * | 2003-08-29 | 2008-04-09 | 三菱電機株式会社 | 交通流計測装置 |
JP2005242703A (ja) * | 2004-02-26 | 2005-09-08 | Toyota Motor Corp | 画像処理装置および画像処理方法 |
JP4373840B2 (ja) * | 2004-04-21 | 2009-11-25 | 日本電信電話株式会社 | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 |
JP4830650B2 (ja) * | 2005-07-05 | 2011-12-07 | オムロン株式会社 | 追跡装置 |
JP5394952B2 (ja) * | 2010-03-03 | 2014-01-22 | セコム株式会社 | 移動物体追跡装置 |
-
2010
- 2010-12-27 JP JP2010291128A patent/JP5759170B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012138013A (ja) | 2012-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5759170B2 (ja) | 追尾装置およびその制御方法 | |
US7430369B2 (en) | Image capture apparatus and control method therefor | |
JP4182117B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
US8199203B2 (en) | Imaging apparatus and imaging method with face detection based on scene recognition results | |
JP4196714B2 (ja) | デジタルカメラ | |
US8139136B2 (en) | Image pickup apparatus, control method of image pickup apparatus and image pickup apparatus having function to detect specific subject | |
US8411159B2 (en) | Method of detecting specific object region and digital camera | |
US8830374B2 (en) | Image capture device with first and second detecting sections for detecting features | |
JP5317737B2 (ja) | 撮像装置、その制御方法及びプログラム | |
TW201316760A (zh) | 攝像裝置、及其之控制方法 | |
JP2009177271A (ja) | 撮像装置、その制御方法およびプログラム | |
JP2008270896A (ja) | 撮像装置及びそのプログラム | |
US9055212B2 (en) | Imaging system, image processing method, and image processing program recording medium using framing information to capture image actually intended by user | |
JP5064926B2 (ja) | 撮像装置及びその制御方法 | |
US7796163B2 (en) | System for and method of taking image based on objective body in a taken image | |
JP2016143035A (ja) | 焦点調節装置および焦点調節方法 | |
JP5036334B2 (ja) | 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム | |
JP5370555B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2008054297A (ja) | 撮影装置および方法並びにプログラム | |
JP3985005B2 (ja) | 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム | |
JP5383361B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2008160701A (ja) | カメラ及びカメラ用撮影制御プログラム | |
JP5448391B2 (ja) | 撮像装置及び赤目補正方法 | |
JP4789776B2 (ja) | 撮像装置及び撮像方法 | |
JP5697429B2 (ja) | 撮像装置及びその制御方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5759170 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |