JP2009109714A - 画像認識装置、焦点調節装置および撮像装置 - Google Patents
画像認識装置、焦点調節装置および撮像装置 Download PDFInfo
- Publication number
- JP2009109714A JP2009109714A JP2007281455A JP2007281455A JP2009109714A JP 2009109714 A JP2009109714 A JP 2009109714A JP 2007281455 A JP2007281455 A JP 2007281455A JP 2007281455 A JP2007281455 A JP 2007281455A JP 2009109714 A JP2009109714 A JP 2009109714A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- reference image
- threshold value
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/18—Focusing aids
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【解決手段】結像光学系による像を撮像して画像情報を繰り返し出力する撮像手段16と、基準とする像に関する基準画像情報を記憶する記憶手段19dと、画像情報の中の複数の部分情報のそれぞれと基準画像情報との差を検出する検出手段19cと、複数の部分情報に対して検出される複数の差の内の最小値がしきい値より小さい場合に、差の最小値が得られる部分情報を基準画像情報に相当する情報と認識する認識手段19cと、基準画像情報の色に応じてしきい値を変更するしきい値変更手段19cとを備える。
【選択図】図2
Description
(2) 請求項2の発明は、結像光学系による像を撮像して画像情報を繰り返し出力する撮像手段と、基準とする像に関する基準画像情報を記憶する記憶手段と、画像情報の中の複数の部分情報のそれぞれと基準画像情報との差を検出する検出手段と、複数の部分情報に対して検出される複数の差の内の最小値がしきい値より小さい場合に、差の最小値が得られる部分情報を基準画像情報に相当する情報と認識する認識手段と、基準画像情報の色に応じてしきい値を変更するしきい値変更手段とを備える。
(3) 請求項3の発明は、請求項1または請求項2に記載の画像認識装置において、基準画像情報の色が、基準画像情報における像のRGB値、色差および彩度の内のいずれか1または複数の値であり、しきい値変更手段によって、基準画像情報における像の値に応じてしきい値を変更するようにしたものである。
(4) 請求項4の発明は、請求項3に記載の画像認識装置において、しきい値変更手段は、基準画像情報における像の値の最大値が所定値を超え、最大値と所定値の差が大きくなるほどしきい値を大きくする。
(5) 請求項5の発明は、請求項1〜4のいずれか1項に記載の画像認識装置において、差の最小値がしきい値より小さい場合に、差の最小値が得られる部分情報に基づいて基準画像情報を更新する更新手段を備える。
(6) 請求項6の発明は、請求項1〜5のいずれか1項に記載の画像認識装置と、結像光学系による画面内に設定された複数の焦点検出位置に対して結像光学系の焦点調節状態を検出する焦点検出手段と、認識手段により基準画像情報に相当すると認識された部分情報に対応する焦点検出位置で、焦点検出手段により検出された焦点調節状態にしたがって結像光学系の焦点調節を行う焦点調節手段とを備える焦点調節装置である。
(7) 請求項7の発明は、請求項6に記載の焦点調節装置を備える撮像装置である。
このRGB値に基づいて各画素の色情報と輝度情報を算出する。この一実施の形態では、色情報として、色の偏り具合を示す値であるRG、BGを用いるとともに、輝度情報として、画像を取得したときの露光時間T、ゲインGain、色合成係数Kr、Kg、Kbにより算出したLを用いる。
BG[x,y]=Log2(B[x,y])−Log2(G[x,y]),
L[x,y]=Log2(Kr×R[x,y]+Kg×G[x,y]+Kb×B[x,y])−Log2(T)−Log2(Gain) ・・・(2)
ここで、色の偏り具合を示す値であるRG、BGは、(2)式からも明らかなように、RGの値が大きければテンプレート画像は赤みが強く、BGの値が大きければ青みが強いことを示す。ここでは、緑色を基準にした赤色と青色への色の偏り具合いRG、BGを色情報とする例を示すが、基準色とその基準色と比較される色はこの一実施の形態の色に限定されない。なお、RG、BG以外の色を色情報として採用する場合には、図4に示す第2撮像素子16の画素26に用いるフィルターの色を、色情報として採用する色に合わせて変更する必要がある。
BGref[rx,ry]=BG[x,y]、
Lref[rx,ry]=L[x,y] (rx,ry=1〜3、x=4〜6、y=5〜7) ・・・(3)
次に、ステップ105で追尾被写体領域47を中心に前後左右に所定画素(ここでは2画素とする)ずつ拡大した領域を探索領域49に設定する。図6(a)に示す例では、探索領域49は、x=2〜8、y=3〜9の領域になる。
(4)式において、dx,dy=1〜5、rx,ry=1〜3、scx=2、scy=3、ΣΣはrx=1〜3およびry=1〜3の総和演算である。
RGmin=MIN(RGref[rx,ry]),
BGmax=MAX(BGref[rx,ry]),
BGmin=MIN(BGref[rx,ry]) ・・・(5)
(5)式において、rx,ry=1〜3である。
ステップ203では色最大値MaxClを所定の色しきい値MaxThと比較し、色最大値MaxClが色しきい値MaxThより大きい場合はステップ204へ進み、類似判定しきい値Dthの値を大きくする。この一実施の形態では次式により類似判定しきい値Dthを変更する。
(7)式において、iDthは類似判定しきい値の初期値である。また、Kは、色最大値MaxClと色しきい値MaxThとの差に乗ずるゲイン定数である。
BGref[rx,ry]=0.8・BGref[rx,ry]+0.2・BG[x,y],
Lref[rx,ry]=0.8・Lref[rx,ry]+0.2・L[x,y],
(rx,ry=1〜3、x=5〜7、y=6〜8) ・・・(8)
なお、テンプレート画像48を更新する際の今までのテンプレート画像における画像情報と新追尾被写体領域47の画像情報との割合は、上述した固定値としてもよいし、最小差分MinDiffに応じて可変にしてもよい。
(9)式において、K’は、RGB値の最大値MaxRGBと所定値MaxRGB_Thとの差に乗ずるゲイン定数である。さらに、テンプレート画像のRGB値に限定されず、1または複数の色の値の最大値に応じて類似判定しきい値Dthを変更してもよい。
Claims (7)
- 結像光学系による像を撮像して画像情報を繰り返し出力する撮像手段と、
基準とする像に関する基準画像情報を記憶する記憶手段と、
前記画像情報の中の複数の部分情報のそれぞれと前記基準画像情報との差を検出する検出手段と、
前記複数の部分情報に対して検出される複数の前記差の内の最小値がしきい値より小さい場合に、前記差の最小値が得られる前記部分情報を前記基準画像情報に相当する情報と認識する認識手段と、
前記基準画像情報の一部分の色に応じて前記しきい値を変更するしきい値変更手段とを備えることを特徴とする画像認識装置。 - 結像光学系による像を撮像して画像情報を繰り返し出力する撮像手段と、
基準とする像に関する基準画像情報を記憶する記憶手段と、
前記画像情報の中の複数の部分情報のそれぞれと前記基準画像情報との差を検出する検出手段と、
前記複数の部分情報に対して検出される複数の前記差の内の最小値がしきい値より小さい場合に、前記差の最小値が得られる前記部分情報を前記基準画像情報に相当する情報と認識する認識手段と、
前記基準画像情報の色に応じて前記しきい値を変更するしきい値変更手段とを備えることを特徴とする画像認識装置。 - 請求項1または請求項2に記載の画像認識装置において、
前記基準画像情報の色は、前記基準画像情報における像のRGB値、色差および彩度の内のいずれか1または複数の値であり、
前記しきい値変更手段は、前記基準画像情報における像の前記値に応じて前記しきい値を変更することを特徴とする画像認識装置。 - 請求項3に記載の画像認識装置において、
前記しきい値変更手段は、前記基準画像情報における像の前記値の最大値が所定値を超え、前記最大値と前記所定値の差が大きくなるほど前記しきい値を大きくすることを特徴とする画像認識装置。 - 請求項1〜4のいずれか1項に記載の画像認識装置において、
前記差の最小値が前記しきい値より小さい場合に、前記差の最小値が得られる前記部分情報に基づいて前記基準画像情報を更新する更新手段を備えることを特徴とする画像認識装置。 - 請求項1〜5のいずれか1項に記載の画像認識装置と、
前記結像光学系による画面内に設定された複数の焦点検出位置に対して前記結像光学系の焦点調節状態を検出する焦点検出手段と、
前記認識手段により前記基準画像情報に相当すると認識された前記部分情報に対応する前記焦点検出位置で、前記焦点検出手段により検出された焦点調節状態にしたがって前記結像光学系の焦点調節を行う焦点調節手段とを備えることを特徴とする焦点調節装置。 - 請求項6に記載の焦点調節装置を備えることを特徴とする撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007281455A JP5176483B2 (ja) | 2007-10-30 | 2007-10-30 | 画像認識装置、画像追尾装置および撮像装置 |
US12/289,594 US8218064B2 (en) | 2007-10-30 | 2008-10-30 | Image recognition device, focus adjustment device, image-capturing device, and image recognition method |
US13/490,383 US8749637B2 (en) | 2007-10-30 | 2012-06-06 | Image recognition device, focus adjustment device, image-capturing device, and image recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007281455A JP5176483B2 (ja) | 2007-10-30 | 2007-10-30 | 画像認識装置、画像追尾装置および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009109714A true JP2009109714A (ja) | 2009-05-21 |
JP5176483B2 JP5176483B2 (ja) | 2013-04-03 |
Family
ID=40669368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007281455A Active JP5176483B2 (ja) | 2007-10-30 | 2007-10-30 | 画像認識装置、画像追尾装置および撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US8218064B2 (ja) |
JP (1) | JP5176483B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011135427A (ja) * | 2009-12-25 | 2011-07-07 | Olympus Imaging Corp | 動き検出装置および動き検出方法 |
JP2012199601A (ja) * | 2011-03-18 | 2012-10-18 | Nikon Corp | 画像追尾装置 |
JP2016122210A (ja) * | 2016-02-17 | 2016-07-07 | 株式会社ニコン | 焦点検出装置および撮像装置 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4986764B2 (ja) * | 2007-08-09 | 2012-07-25 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2009175310A (ja) * | 2008-01-23 | 2009-08-06 | Nikon Corp | 焦点検出装置、焦点検出方法およびカメラ |
KR101599872B1 (ko) * | 2009-02-25 | 2016-03-04 | 삼성전자주식회사 | 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체 |
CN101576932B (zh) * | 2009-06-16 | 2012-07-04 | 阿里巴巴集团控股有限公司 | 近重复图片的计算机查找方法和装置 |
CN102479382A (zh) * | 2010-11-23 | 2012-05-30 | 鸿富锦精密工业(深圳)有限公司 | 拍摄影像优化***及方法 |
JP5907595B2 (ja) * | 2011-09-27 | 2016-04-26 | キヤノン株式会社 | 撮像装置 |
JP5948856B2 (ja) * | 2011-12-21 | 2016-07-06 | ソニー株式会社 | 撮像装置とオートフォーカス方法並びにプログラム |
US9077888B2 (en) * | 2011-12-29 | 2015-07-07 | Verizon Patent And Licensing Inc. | Method and system for establishing autofocus based on priority |
US20130258167A1 (en) * | 2012-03-28 | 2013-10-03 | Qualcomm Incorporated | Method and apparatus for autofocusing an imaging device |
JP5667726B2 (ja) * | 2012-04-10 | 2015-02-12 | 富士フイルム株式会社 | レンズ交換式カメラ及びファインダの表示方法 |
KR102536083B1 (ko) * | 2015-12-24 | 2023-05-24 | 삼성전자주식회사 | 이미징 장치, 전자 장치 및 그의 이미지 획득 방법 |
US10565712B2 (en) * | 2016-06-21 | 2020-02-18 | Canon Kabushiki Kaisha | Image processing apparatus and method for controlling the same |
KR20180052002A (ko) * | 2016-11-09 | 2018-05-17 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 지원하는 전자 장치 |
KR102286006B1 (ko) * | 2016-11-23 | 2021-08-04 | 한화디펜스 주식회사 | 추종 장치 및 추종 시스템 |
JP6922652B2 (ja) * | 2017-10-27 | 2021-08-18 | トヨタ自動車株式会社 | 撮像装置 |
US10645358B2 (en) * | 2018-02-20 | 2020-05-05 | Gopro, Inc. | Saturation management for luminance gains in image processing |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0683963A (ja) * | 1992-09-04 | 1994-03-25 | Nikon Corp | 目標物体追尾装置 |
JP2006058431A (ja) * | 2004-08-18 | 2006-03-02 | Fujinon Corp | オートフォーカスシステム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3918788B2 (ja) * | 2003-08-06 | 2007-05-23 | コニカミノルタフォトイメージング株式会社 | 撮像装置、およびプログラム |
JP4245185B2 (ja) * | 2005-02-07 | 2009-03-25 | パナソニック株式会社 | 撮像装置 |
JP2006258944A (ja) * | 2005-03-15 | 2006-09-28 | Fujinon Corp | オートフォーカスシステム |
-
2007
- 2007-10-30 JP JP2007281455A patent/JP5176483B2/ja active Active
-
2008
- 2008-10-30 US US12/289,594 patent/US8218064B2/en active Active
-
2012
- 2012-06-06 US US13/490,383 patent/US8749637B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0683963A (ja) * | 1992-09-04 | 1994-03-25 | Nikon Corp | 目標物体追尾装置 |
JP2006058431A (ja) * | 2004-08-18 | 2006-03-02 | Fujinon Corp | オートフォーカスシステム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011135427A (ja) * | 2009-12-25 | 2011-07-07 | Olympus Imaging Corp | 動き検出装置および動き検出方法 |
JP2012199601A (ja) * | 2011-03-18 | 2012-10-18 | Nikon Corp | 画像追尾装置 |
JP2016122210A (ja) * | 2016-02-17 | 2016-07-07 | 株式会社ニコン | 焦点検出装置および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US8218064B2 (en) | 2012-07-10 |
US20120242888A1 (en) | 2012-09-27 |
US20090135292A1 (en) | 2009-05-28 |
US8749637B2 (en) | 2014-06-10 |
JP5176483B2 (ja) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5176483B2 (ja) | 画像認識装置、画像追尾装置および撮像装置 | |
JP5247076B2 (ja) | 画像追尾装置、焦点調節装置および撮像装置 | |
JP4872834B2 (ja) | 画像認識装置、焦点調節装置および撮像装置 | |
JP5082631B2 (ja) | 撮影装置 | |
JP5157256B2 (ja) | 画像追尾装置および撮像装置 | |
JP2009109839A (ja) | 画像追尾装置、撮像装置 | |
JP2009033238A (ja) | 撮像装置 | |
JP4893334B2 (ja) | 画像追尾装置および撮像装置 | |
JP5056136B2 (ja) | 画像追尾装置 | |
JP5403111B2 (ja) | 画像追尾装置 | |
JP4888249B2 (ja) | 焦点検出装置および撮像装置 | |
JP4985155B2 (ja) | 焦点調節装置および撮像装置 | |
JP2010200138A (ja) | 被写体追尾装置 | |
JP5447579B2 (ja) | 追尾装置、焦点調節装置および撮影装置 | |
JP5541396B2 (ja) | 画像追尾装置 | |
JP5233646B2 (ja) | 画像追尾装置、撮像装置、画像追尾方法 | |
JP2010054586A (ja) | 焦点調節装置、撮像装置 | |
JP5176845B2 (ja) | 画像追尾装置および撮像装置 | |
JP2012093775A (ja) | 焦点検出装置および撮像装置 | |
JP5772933B2 (ja) | 撮像装置 | |
JP4973369B2 (ja) | 画像処理装置および撮像装置 | |
JP5347834B2 (ja) | 画像追尾装置 | |
JP2018063439A (ja) | 焦点調節装置、撮像装置 | |
JP2016028298A (ja) | 焦点調節装置、撮像装置 | |
JP2014095915A (ja) | 焦点調節装置、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120501 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5176483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |