JP5222429B2 - 被写体追跡装置及びその制御方法 - Google Patents
被写体追跡装置及びその制御方法 Download PDFInfo
- Publication number
- JP5222429B2 JP5222429B2 JP2012231184A JP2012231184A JP5222429B2 JP 5222429 B2 JP5222429 B2 JP 5222429B2 JP 2012231184 A JP2012231184 A JP 2012231184A JP 2012231184 A JP2012231184 A JP 2012231184A JP 5222429 B2 JP5222429 B2 JP 5222429B2
- Authority
- JP
- Japan
- Prior art keywords
- reference image
- image
- subject
- maximum correlation
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1は、本発明の第1の実施形態に係る被写体追跡装置の一例としての撮像装置100の機能構成例を示すブロック図である。レンズユニット101は結像光学系であり、一般にはフォーカス調整用レンズを含む複数のレンズによって構成される。レンズユニット101は被写体の光学像を撮像素子102の撮像面上に結像する。撮像素子102はCCDイメージセンサやCMOSイメージセンサなどの光電変換素子であり、被写体光学像を画素単位の電気信号に変換する。この電気信号は、撮像素子102で撮像された被写体像を示すアナログの映像信号である。撮像素子102は、撮像と出力を連続的に繰り返すことにより、所定のフレームレートで時系列的に映像信号を出力することができる。以下の説明において、「画像」とは、1フレームの映像信号と同義である。
(1)被写体追跡の開始時に被写体指定部109によって指定される領域に基づき登録される基準画像(第1の基準画像)と、
(2)被写体追跡中に被写体抽出部113が抽出した領域によって順次更新されて登録される基準画像(第2の基準画像)とが挙げられる。
次に、被写体追跡部110の処理の詳細について、図2及び図3を参照して説明する。なお、以下の説明では、検出及び追跡すべき特定の被写体が人物の顔であるものとする。また、基準画像登録部111に登録される基準画像は、次の2つとする。(1)被写体追跡の開始時に被写体指定部109によって指定される領域に基づき登録される基準画像(以下、初期基準画像)。(2)相関度算出部112が求めた相関度に応じて被写体抽出部113が抽出した被写体領域に基づき逐次更新される基準画像(以下、更新基準画像とする)。
相関度算出部112は、入力画像と初期基準画像302との相関度に加え、入力画像と更新基準画像304との相関度についても算出し、各基準画像について、最大相関度および最大相関度を有する領域を算出する(図2のS203〜S207)。
次に、本発明の第2の実施形態に係る被写体追跡装置の一例としての撮像装置について第1の実施形態との差異を中心に、図4〜図6を参照して説明する。なお、図4〜図6において、第1の実施形態に係る図1〜図3と同一の構成及び動作については同一の符号を付し、重複する説明は省略する。
「基準画像登録部111に登録されている複数の基準画像のうち最も古い入力画像に基づく基準画像との相関度が最大となる入力画像中の領域が被写体領域として抽出される確率」を、
「最も古い入力画像に基づく基準画像の特徴量と入力画像の一致度合い」が高いほど低く、低いほど高くなるように動的に調整することを特徴とする。
次に、被写体追跡部401の処理の詳細について、第1の実施形態との差異を中心に、図5、図6を参照して説明する。なお、以下の説明では、第1の実施形態と同様、図5は、第2の実施形態に係る被写体追跡の処理を示すフローチャートである。図6は、被写体追跡における説明図である。なお、以下の説明では、第1の実施形態の説明と同様、検出及び追跡すべき特定の被写体が人物の顔であるものとする。また、基準画像登録部111に登録される基準画像も、初期基準画像と更新基準画像との2つであるものとする。
上述した処理を、撮像素子102で連続的に撮像され、時系列的に入力される複数の入力画像に対して順次適用することにより、複数の入力画像に亘って特定の被写体を追跡することができる。
なお、上述の実施形態では、被写体追跡装置の一例としての撮像装置を説明した。しかし、上述の通り、本発明は撮像装置以外にも多様な機器に適用可能である。例えば画像データの再生表示装置に適用した場合、画像データ中の被写体領域の情報(画像中の被写体の位置、大きさなど)を用いて画像データの再生条件や表示条件を設定するといった応用が可能である。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じて、被写体部分が適切に表示されるように輝度や色合いなどの表示条件を制御することができる。
なお、図中の機能ブロックは、ハードウェア、ソフトウェア又はそれらの組み合わせによって実現可能であるが、機能ブロックとそれを実現する構成とは1対1に対応する必要はない。複数の機能ブロックを1つのソフトウェア又はハードウェアモジュールで実現してもよい。
Claims (6)
- 画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、
登録手段に登録された第1の基準画像および第2の基準画像の各々について、入力画像との最大相関度と、当該最大相関度を有する前記入力画像中の領域とを求める算出手段と、
前記算出手段により求められた領域の中から、前記入力画像における前記特定の被写体の領域を判定する第1の判定手段とを有し、
前記第1の判定手段は、前記第1の基準画像について前記算出手段が求めた最大相関度が予め定めた閾値以上であれば、前記第2の基準画像と最大相関度を有する領域によらずに前記第1の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定し、前記第1の基準画像について前記算出手段が求めた最大相関度が前記予め定めた閾値未満であれば、前記第1の基準画像についての最大相関度と前記第2の基準画像についての最大相関度とに基づいて、前記第1の基準画像と最大相関度を有する領域と前記第2の基準画像と最大相関度を有する領域のいずれかを、前記入力画像における前記特定の被写体の領域と判定するものであり、
前記第1の判定手段は、前記特定の被写体の領域を判定すると、判定した前記特定の被写体の領域に基づいて前記第2の基準画像を更新する一方、前記第1の基準画像は更新しないことを特徴とする被写体追跡装置。 - 前記第1の基準画像は、前記複数の入力画像のうち第1の入力画像において前記特定の被写体の領域として指定された領域における画像であることを特徴とする請求項1に記載の被写体追跡装置。
- 前記入力画像中の領域を指定するための指定手段をさらに有し、
前記第1の入力画像における前記特定の被写体の領域の指定が、前記指定手段を通じてユーザによってなされることを特徴とする請求項2に記載の被写体追跡装置。 - 前記第2の基準画像は、前記第1の入力画像よりも後に入力される第2の入力画像において、前記第1の判定手段によって前記特定の被写体の領域と判定された領域に基づく画像であることを特徴とする請求項2または3に記載の被写体追跡装置。
- 画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置の制御方法であって、
算出手段が、登録手段に登録された第1の基準画像および第2の基準画像の各々について、入力画像との最大相関度と、当該最大相関度を有する前記入力画像中の領域とを求める算出工程と、
判定手段が、前記算出工程により求められた領域の中から、前記入力画像における前記特定の被写体の領域を判定する第1の判定工程とを有し、
前記第1の判定工程は、前記第1の基準画像について前記算出工程で求められた最大相関度が予め定めた閾値以上であれば、前記第2の基準画像と最大相関度を有する領域によらずに前記第1の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定し、前記第1の基準画像について前記算出工程で求められた最大相関度が前記予め定めた閾値未満であれば、前記第1の基準画像についての最大相関度と前記第2の基準画像についての最大相関度とに基づいて、前記第1の基準画像と最大相関度を有する領域と前記第2の基準画像と最大相関度を有する領域のいずれかを、前記入力画像における前記特定の被写体の領域と判定するものであり、
前記第1の判定工程において前記第1の判定手段は、前記特定の被写体の領域を判定すると、判定した前記特定の被写体の領域に基づいて前記第2の基準画像を更新する一方、前記第1の基準画像は更新しないことを特徴とする被写体追跡装置の制御方法。 - 請求項5に記載の被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012231184A JP5222429B2 (ja) | 2012-10-18 | 2012-10-18 | 被写体追跡装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012231184A JP5222429B2 (ja) | 2012-10-18 | 2012-10-18 | 被写体追跡装置及びその制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009289653A Division JP5167236B2 (ja) | 2009-12-21 | 2009-12-21 | 被写体追跡装置及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013021726A JP2013021726A (ja) | 2013-01-31 |
JP5222429B2 true JP5222429B2 (ja) | 2013-06-26 |
Family
ID=47692642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012231184A Expired - Fee Related JP5222429B2 (ja) | 2012-10-18 | 2012-10-18 | 被写体追跡装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5222429B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460787B (zh) | 2018-03-06 | 2020-11-27 | 北京市商汤科技开发有限公司 | 目标跟踪方法和装置、电子设备、程序、存储介质 |
SG11202002621SA (en) | 2018-03-06 | 2020-04-29 | Beijing Sensetime Technology Development Co Ltd | Target tracking method and apparatus, and electronic device and storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4961965B2 (ja) * | 2006-11-15 | 2012-06-27 | 株式会社ニコン | 被写体追跡プログラム、被写体追跡装置、およびカメラ |
JP2009027402A (ja) * | 2007-07-19 | 2009-02-05 | Canon Inc | デジタルカメラ、および、画像表示方法 |
JP2009188480A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | 被写体追跡プログラム、被写体追跡装置、およびカメラ |
JP5426874B2 (ja) * | 2008-12-22 | 2014-02-26 | 富士フイルム株式会社 | オートフォーカスシステム |
-
2012
- 2012-10-18 JP JP2012231184A patent/JP5222429B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013021726A (ja) | 2013-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8509482B2 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
JP5159515B2 (ja) | 画像処理装置およびその制御方法 | |
US20090002509A1 (en) | Digital camera and method of controlling same | |
JP2008141437A (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
JP6521626B2 (ja) | 被写体追跡装置、方法およびプログラム | |
US10270977B2 (en) | Imaging apparatus and a method of tracking a subject in the imaging apparatus | |
JP2013228930A (ja) | 被写体領域検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
JP6924064B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP5167236B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP2008035125A (ja) | 撮像装置、画像処理方法およびプログラム | |
JP5395650B2 (ja) | 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム | |
JP6937603B2 (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP5222429B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP2018182700A (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP6099973B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
JP6808482B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2016081095A (ja) | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム | |
JP5111293B2 (ja) | 撮像装置及びその制御方法 | |
JP5323243B2 (ja) | 画像処理装置及びその制御方法 | |
JP2010154374A (ja) | 撮像装置および被写体追跡方法 | |
US9936158B2 (en) | Image processing apparatus, method and program | |
JP2022150652A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20121108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5222429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |