JP5541396B2 - 画像追尾装置 - Google Patents
画像追尾装置 Download PDFInfo
- Publication number
- JP5541396B2 JP5541396B2 JP2013133838A JP2013133838A JP5541396B2 JP 5541396 B2 JP5541396 B2 JP 5541396B2 JP 2013133838 A JP2013133838 A JP 2013133838A JP 2013133838 A JP2013133838 A JP 2013133838A JP 5541396 B2 JP5541396 B2 JP 5541396B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- area
- tracking
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
と露出演算は第1撮像素子4により撮像された被写界画像信号に基づいて行うこととしてもよい。
される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部19fは、第2撮像素子16により撮像した画像信号に基づいて露出値を演算する。
細を後述するが、撮影レンズ8の撮影画面内には複数の焦点検出エリアが設定されており、測距素子10は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部19gは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材20のシャッターボタンが半押しされると半押しスイッチ(不図示)がオンし、図1に示すように、撮影レンズ8を通過した被写体光の一部は破線で示すクイックリターンミラー5のハーフミラー部を通ってサブミラー6および焦点検出光学系9を介して測距素子10へ導かれ、焦点検出演算部19gにより焦点検出演算が行われる。レンズ駆動量演算部19hは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、シャッターボタンが半押しされている間、繰り返し周期的に行われる。
R[x,y]、G[x,y]、B[x,y],
x=1〜16、y=1〜12 ・・・(1)
表される。
RG[x,y]=Log2(R[x,y])−Log2(G[x,y])
BG[x,y]=Log2(B[x,y])−Log2(G[x,y])
L[x,y]=Log2(Kr×R[x,y]+Kg×G[x,y]+Kb×B[x,y])−Log2(T)−Log2(G)
・・・(2)
RGref[rx,ry]=RG[x,y],
BGref[rx,ry]=BG[x,y]),
Lref[rx,ry]=L[x,y],
rx=1〜4、ry=1〜4、x=7〜10、y=5〜8 ・・・(3)
を取得し、色情報RG[x,y],BG[x,y]および輝度情報L[x,y]を算出する。
の始点位置を(scx,scy)=(3,1)とする。
Diff[dx,dy]=
{ABS(RG[scx+dx−1+rx,scy+dy−1+ry]−RGref[rx,ry])
+ABS(BG[scx+dx−1+rx,scy+dy−1+ry]−BGref[rx,ry])+ABS(L[scx+dx−1+rx,scy+dy−1+ry]−Lref[rx,ry])}
dx=1〜9,dy=1〜9,rx=1〜4,ry=1〜4,scx=3,scy=1
・・・(4)
る。例えば、図7(a)に示すように第1探索領域49から順次切り出した画像(図7(a)においては、49a、49b、49c)と、テンプレート画像48とを順次比較して、それぞれの切り出し画像について差分Diffを算出する。これらの差分Diffの内の最小の値を示す切り出し画像がテンプレート画像48(図6(b)参照)に最も類似していることになる。
1最小差分値MinDiff)を検出する。そして、第1最小差分値MinDiffとなるときの差分Diffの座標値(Mindx、Mindy)を検出する。
分値MinDiff_Sとなるときの差分Diffの座標値(Mindx_S、Mindy_S)を検出する。なお、
図7(a)において、第2探索領域50に対応する切り出し画像の始点位置をずらす範囲はdx=3〜7、dy=3〜7となる。
最小差分値MinDiff_Sとが異なる値となる場合として、次のような場合が考えられる。
(A1)追尾対象の被写体の画面内での移動速度が速いため、広い領域の第1探索領域49にて追尾対象の被写体が検出された場合。
(A2)追尾対象の被写体の画面内での移動速度が遅い、または静止しているため追尾対象の被写体は狭い領域である第2探索領域50内に存在しているが、背景に存在する類似した色情報を有する、追尾対象の被写体とは異なる被写体を検出した場合(擬似マッチング)。
れる。
(B1)追尾対象の被写体の位置は第1最小差分値MinDiffの位置にあるが、第2探索小
域内にて擬似マッチングをしている場合。
(B2)追尾対象の被写体の移動速度は第2探索領域内に存在するが、背景(第1検索領域49)に存在する類似した色情報を有する、追尾対象の被写体とは異なる被写体を検出した場合(擬似マッチング)。
新しい追尾被写体領域47に決定する。すなわち、座標値(Mindx_S、Mindy_S)を始点位置とする4×4画素の領域を新しい追尾被写体領域47として設定する。
分Diffの位置を新しい追尾被写体領域47に決定する。すなわち、座標値(Mindx、Mindy)を始点位置とする4×4画素の領域を新しい追尾被写体領域47として設定する。なお、ステップS203において否定判定された場合、すなわち第1最小差分値MinDiffと第
2最小差分値MinDiff_Sの値とが等しい場合についても、第1検索領域49にて検出され
た第1最小差分値MinDiffに対応する位置に基づいて、新しい追尾被写体領域47に決定
する。図7(b)は、上記の新追尾被写***置決定処理により決定された新しい追尾被写体領域47の位置を例示する図である。図7(b)に示す例では、始点位置が(x,y)
=(8,5)となる4×4画素の領域を新しい追尾被写体領域47として決定する。すな
わち、図7(b)は、追尾対象の被写体が第2探索領域50内で検出された場合を示して
いる。以上で新追尾被写***置決定処理を終了し、図8のステップS7へリターンする。
RGref[rx,ry]=0.8×RGref[rx,ry]+0.2×RG[x,y],
BGref[rx,ry]=0.8×RGref[rx,ry]+0.2×BG[x,y]),
Lref[rx,ry]=0.8×Lref[rx,ry]+0.2×L[x,y],
rx=1〜4、ry=1〜4、x=8〜11、y=5〜8 ・・・(5)
じて可変にしてもよい。
(1)第2撮像素子は、撮影レンズ8により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成するようにした。追尾制御部19eは、被写界画像における第1探索領域49の画像情報と対象となる画像に基づくテンプレート画像48との間の相関を示す第1最小差分値MinDiffを算出するとともに、被写界画像における第1探索領域49
とは異なる第2探索領域50内の画像情報とテンプレート画像48との間の相関を示す第2最小差分値MinDiff_Sを算出するようにした。そして、追尾制御部19eは、第1最小
差分値MinDiffと第2最小差分値MinDiff_Sとの一方に基づいて、被写界画像における対象となる画像の位置を検出するようにした。したがって、撮影画面内の追尾対象の被写体とは異なる被写体を誤検出することを防ぎ追尾精度を維持できる。
また、追尾制御部19eは、第1最小差分値MinDiffと第2最小差分値MinDiff_Sとの差分が閾値Wth1未満の場合は第2最小差分値MinDiff_Sに基づいて、対象となる画像の位
置を検出するようにした。したがって、撮影画面内の追尾対象の被写体の動きが急激に変化した場合であっても、被写体の動きに追従できるので追尾精度を維持できる。
基づいて、被写界画像における対象の画像の移動距離が閾値Wth2未満か否かを判定するようにした。そして、追尾制御部19eは、第1最小差分値MinDiffと第2最小差分値MinDiff_Sとの差分が閾値Wth1未満と判定され、かつ、移動距離が閾値Wth2未満と判定された場合は、第2最小差分値MinDiff_Sに基づいて、対象となる画像の位置を検出
するようにした。また、第1最小差分値MinDiffと第2最小差分値MinDiff_Sとの差分が閾値Wth1未満と判定され、かつ、移動距離が閾値Wth2以上と判定された場合は、第1最小差分値MinDiffに基づいて、対象となる画像の位置を検出するようにした。したが
って、被写界画像内の背景等に対して擬似マッチングの発生を防ぎ、追尾対象となる被写体の動きに追従できる。
(1)第1探索領域49の位置および第2探索領域50の位置は、1サイクル前の新追尾被写***置決定処理において決定した追尾被写体領域47の位置を中心として設定するものに限定されない。たとえば、1サイクル前の新追尾被写***置決定処理において決定した追尾被写体領域47の位置を中心とした所定領域(前回領域)と、被写界画像において固定された所定領域(固定領域)とを第1探索領域49および第2探索領域50として設定する。なお、上記の固定領域は、たとえば図11において太線で囲んだ領域Rに示すように設定できる。図11(a)は領域Rが撮影画面全体の場合を示し、図11(b)は領域Rが撮影画面の中央近傍(始点位置(x,y)=(6,4)、6×6画素)の場合を示し、図11(c)は領域Rが焦点検出エリア45を包含する領域(始点位置を(x,y)=
(4,4)、10×6画素)の場合を示す。以下、図11、図12を参照しながら、第1
探索領域49および第2探索領域50を設定する位置に関する例を説明する。なお、図11、図12においても、図6および図7の場合と同様に座標系を設定して説明する。
11(c)に示す焦点検出エリアを包含する所定領域であってもよい。図12(a)は、始点位置を(x,y)=(4,4)とする6×6画素の領域を第2探索領域50とするように設定された例を示している。
分値MinDiff_Sに基づいた可変値としてもよい。この場合、たとえば複数回の処理の結果
得られた最小差分値の履歴等に基づいて、自動的に閾値Wth1が算出される。すなわち、過去5サイクルの処理において、ステップS7の類似判定処理により類似していると判定されたときの第1最小差分値MinDiff、または第2最小差分値MinDiff_Sのうち、最大値と最小値との差分を閾値Wth1として設定すればよい。
19 ボディ駆動制御装置、 19e 追尾制御部
Claims (4)
- 撮像部が生成した被写界画像に第1探索領域、及び、前記第1探索領域よりも小さい第2探索領域を設定する設定部と、
追尾対象に対応する基準情報と前記被写界画像における前記第1探索領域内の画像情報との間の相関に対応する第1情報、及び、前記基準情報と前記被写界画像における前記第2探索領域内の画像情報との間の相関に対応する第2情報を演算する演算部と、
前記第1情報及び前記第2情報との比較結果に基づいて、前記第1情報及び前記第2情報の少なくとも一方を用いて前記追尾対象の位置を検出する検出部と、を含むことを特徴とする画像追尾装置。 - 請求項1に記載された画像追尾装置であって、
前記設定部は、前記撮像部が生成した第1被写界画像に前記第1探索領域、及び、前記第2探索領域を設定し、前記第1被写界画像を生成した後に前記撮像部が生成した第2被写界画像に第3探索領域、及び、前記第3探索領域よりも小さい第4探索領域を設定し、
前記演算部は、前記基準情報と前記第1被写界画像における前記第1探索領域内の画像情報との間の相関に対応する第1情報、及び、前記基準情報と前記第1被写界画像における前記第2探索領域内の画像情報との間の相関に対応する第2情報を演算した後、
前記基準情報と前記第2被写界画像における前記第3探索領域内の画像情報との間の相関に対応する第3情報、及び、前記基準情報と前記第2被写界画像における前記第4探索領域内の画像情報との間の相関に対応する第4情報を演算することを特徴とする画像追尾装置。 - 請求項1に記載された画像追尾装置であって、
前記検出部は、前記第1情報と前記第2情報とを比較する比較部と、
前記比較部の比較結果に基づいて、前記第1情報及び前記第2情報の少なくとも一方を用いて前記追尾対象の位置を検出する検出部と、を含むことを特徴とする画像追尾装置。 - 請求項3に記載された画像追尾装置であって、
前記検出部は、前記第1情報と前記第2情報との差が所定値以上であるとき、前記第1情報を用いて前記追尾対象の位置を検出し、前記第1情報と前記第2情報との差が所定値以上でないとき、前記第2情報を用いて前記追尾対象の位置を検出することを特徴とする画像追尾装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013133838A JP5541396B2 (ja) | 2013-06-26 | 2013-06-26 | 画像追尾装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013133838A JP5541396B2 (ja) | 2013-06-26 | 2013-06-26 | 画像追尾装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009194288A Division JP5347834B2 (ja) | 2009-08-25 | 2009-08-25 | 画像追尾装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013201784A JP2013201784A (ja) | 2013-10-03 |
JP2013201784A5 JP2013201784A5 (ja) | 2013-11-14 |
JP5541396B2 true JP5541396B2 (ja) | 2014-07-09 |
Family
ID=49521611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013133838A Active JP5541396B2 (ja) | 2013-06-26 | 2013-06-26 | 画像追尾装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5541396B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6756338B2 (ja) * | 2015-12-18 | 2020-09-16 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09130784A (ja) * | 1995-08-25 | 1997-05-16 | Matsushita Electric Works Ltd | 自動追尾方法及びその装置 |
JP5167750B2 (ja) * | 2006-10-03 | 2013-03-21 | 株式会社ニコン | 追尾装置、撮像装置、および追尾方法 |
JP4824586B2 (ja) * | 2007-01-18 | 2011-11-30 | 株式会社リコー | 撮像装置 |
-
2013
- 2013-06-26 JP JP2013133838A patent/JP5541396B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013201784A (ja) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4872834B2 (ja) | 画像認識装置、焦点調節装置および撮像装置 | |
JP5247076B2 (ja) | 画像追尾装置、焦点調節装置および撮像装置 | |
JP5176483B2 (ja) | 画像認識装置、画像追尾装置および撮像装置 | |
JP5157256B2 (ja) | 画像追尾装置および撮像装置 | |
JP2009109839A (ja) | 画像追尾装置、撮像装置 | |
JP2012226206A (ja) | 画像追尾装置および撮像装置 | |
JP4888249B2 (ja) | 焦点検出装置および撮像装置 | |
JP2012208507A (ja) | 画像追尾装置 | |
JP2008271006A (ja) | 画像追尾装置、画像追尾方法および撮像装置 | |
JP4985155B2 (ja) | 焦点調節装置および撮像装置 | |
JP5541396B2 (ja) | 画像追尾装置 | |
JP5446660B2 (ja) | 画像認識装置、および、撮像装置 | |
JP2018004904A (ja) | 被写体追尾装置および撮像装置 | |
JP2010200138A (ja) | 被写体追尾装置 | |
JP5447579B2 (ja) | 追尾装置、焦点調節装置および撮影装置 | |
JP5347834B2 (ja) | 画像追尾装置 | |
JP5176845B2 (ja) | 画像追尾装置および撮像装置 | |
JP5966249B2 (ja) | 画像追尾装置 | |
JP5233646B2 (ja) | 画像追尾装置、撮像装置、画像追尾方法 | |
JP2010054586A (ja) | 焦点調節装置、撮像装置 | |
JP5789937B2 (ja) | 画像追尾装置及び撮像装置 | |
JP2012093775A (ja) | 焦点検出装置および撮像装置 | |
JP5772933B2 (ja) | 撮像装置 | |
JP2018063439A (ja) | 焦点調節装置、撮像装置 | |
JP2013187665A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5541396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |