JP2019191661A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2019191661A JP2019191661A JP2018080161A JP2018080161A JP2019191661A JP 2019191661 A JP2019191661 A JP 2019191661A JP 2018080161 A JP2018080161 A JP 2018080161A JP 2018080161 A JP2018080161 A JP 2018080161A JP 2019191661 A JP2019191661 A JP 2019191661A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- tracking target
- feature point
- moving subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、画像処理装置を含むデジタルカメラ100の構成を示すブロック図である。図1において、結像光学部101はフォーカスレンズや防振レンズを含む複数のレンズ群及び絞りなどを備えている。撮影の際、結像光学部101はフォーカス調節、露出調節、及びブレ補正等を行い、撮像素子102に光学像を結像する。撮像素子102は、光学像を電気信号(アナログ画像信号)に変換する光電変換機能を有し、CCDやCMOSセンサ等で構成される。A/D変換部103は撮像素子102からのアナログ画像信号をデジタル画像信号に変換する。
式1においてIxは水平微分フィルタを施した結果、Iyは垂直微分フィルタを施した結果を表しており、ガウシアンフィルタGを畳み込む演算が行われる。Shi and Tomasiの特徴評価式を式2に示す。
Shi and Tomasi=min(λ1,λ2)・・・(2)
式2は、式1の自己相関行列Hの固有値λ1,λ2のうちの小さい方を特徴値とすることを示す。
S_SAD=ΣiΣj|f(i,j)−g(i,j)| ・・・ (3)
式3において、f(i,j)はテンプレート領域画像354内の座標(i,j)における画素値を表し、g(i,j)はサーチ領域画像353において相関値算出の対象となる領域内の対応する画素値を表す。相関値算出対象領域は、テンプレート領域画像354と同じ大きさである。そしてSADでは、両ブロック内の各画素値f(i,j)及びg(i,j)について差の絶対値を計算し、その総和を求めることで相関値S_SADを得ることができる。従って、相関値S_SADの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレート領域画像354と相関値算出領域内とでテクスチャが類似していることを表している。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (13)
- 撮影範囲の一部に第1の処理領域を設定する設定手段と、
複数の撮影画像のうちの第1の撮影画像において複数の追跡対象点を選択する選択手段と、
前記第1の撮影画像と前記第1の撮影画像の次に撮影された第2の撮影画像との間で、各追跡対象点の動きベクトルを検出する検出手段と、
前記第1の処理領域に移動被写体が出現したか否かを判定する判定手段と、
前記複数の撮影画像の各々を撮影順に前記第1の撮影画像として、前記第1の処理領域に前記移動被写体が出現したと判定されるまでは、前記選択手段による選択と前記検出手段による検出と前記判定手段による判定とを含む第1の処理セットを繰り返し実行し、前記第1の処理領域に前記移動被写体が出現したと判定された後は、前記選択手段による選択と前記検出手段による検出とを含む第2の処理セットを繰り返し実行するように制御する制御手段と、
を備え、
前記第1の処理セットにおいて、前記選択手段は、前記第1の撮影画像の前記第1の処理領域に基づいて、前記第1の処理領域の中から前記複数の追跡対象点を選択し、
前記第2の処理セットにおいて、前記選択手段は、直前の第2の処理セットにおいて検出された各追跡対象点の前記動きベクトルが示す各追跡対象点の移動先を、現在の第2の処理セットのための前記複数の追跡対象点として選択する
ことを特徴とする画像処理装置。 - 前記第1の処理セットにおいて、前記判定手段は、直前の第1の処理セットにおいて検出された各追跡対象点の前記動きベクトルと現在の第1の処理セットにおいて検出された各追跡対象点の前記動きベクトルとの相違に基づいて、前記第1の処理領域に前記移動被写体が出現したか否かを判定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記設定手段は、前記第1の処理領域の中に複数の分割領域を設定し、
前記第1の処理セットにおいて、前記選択手段は、前記第1の処理領域の各分割領域から1つずつ前記追跡対象点を選択する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記設定手段は、前記撮影範囲の中に前記第1の処理領域よりも広い第2の処理領域を設定し、
直前の第2の処理セットにおいて特定の追跡対象点について有効な動きベクトルが検出されなかった場合、現在の第2の処理セットにおいて、前記選択手段は、当該特定の追跡対象点の移動先の代わりとなる追跡対象点を、前記第1の撮影画像の前記第2の処理領域に基づいて、前記第2の処理領域の中から選択する
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 前記第2の処理領域は、前記撮影範囲の全体である
ことを特徴とする請求項4に記載の画像処理装置。 - 前記第1の処理セットの次に実行される前記第2の処理セットにおいて、前記選択手段は、直前の第1の処理セットにおいて検出された各追跡対象点の前記動きベクトルが示す各追跡対象点の移動先を、現在の第2の処理セットのための前記複数の追跡対象点として選択する
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記第1の処理セットの次に実行される前記第2の処理セットにおいて、前記選択手段は、前記第1の撮影画像の前記第1の処理領域に基づいて、前記第1の処理領域の中から前記複数の追跡対象点を選択する
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 撮像手段の撮影範囲の一部に第1の処理領域を設定する設定手段と、
前記撮像手段で順次撮像された複数の撮影画像に対して前記第1の処理領域で特徴点の算出を行う算出手段と、
前記特徴点に基づいて前記第1の処理領域に移動被写体が検出されるまで、前記複数の撮影画像に対して前記第1の処理領域で前記特徴点の算出を繰り返し、該移動被写体が検出されたことに応じて、算出された特徴点を追跡する処理を行う制御手段と、
を有することを特徴とする画像処理装置。 - 前記制御手段は、前記移動被写体が検出されたことに応じて前記第1の処理領域よりも大きい第2の処理領域において、前記特徴点を追跡する
ことを特徴とする請求項8に記載の画像処理装置。 - 前記撮像手段により撮像された画像を表示部に表示する表示制御手段と、
前記表示部に前記撮像手段により撮像された画像が表示された状態で前記第1の処理領域を指示する指示手段と、
を更に有することを特徴とする請求項8又は9に記載の画像処理装置。 - 請求項1乃至10のいずれか1項に記載の画像処理装置と、
前記複数の撮影画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。 - 画像処理装置が実行する画像処理方法であって、
撮影範囲の一部に第1の処理領域を設定する設定工程と、
複数の撮影画像のうちの第1の撮影画像において複数の追跡対象点を選択する選択工程と、
前記第1の撮影画像と前記第1の撮影画像の次に撮影された第2の撮影画像との間で、各追跡対象点の動きベクトルを検出する検出工程と、
前記第1の処理領域に移動被写体が出現したか否かを判定する判定工程と、
前記複数の撮影画像の各々を撮影順に前記第1の撮影画像として、前記第1の処理領域に前記移動被写体が出現したと判定されるまでは、前記選択工程による選択と前記検出工程による検出と前記判定工程による判定とを含む第1の処理セットを繰り返し実行し、前記第1の処理領域に前記移動被写体が出現したと判定された後は、前記選択工程による選択と前記検出工程による検出とを含む第2の処理セットを繰り返し実行するように制御する制御工程と、
を備え、
前記第1の処理セットにおいて、前記選択工程は、前記第1の撮影画像の前記第1の処理領域に基づいて、前記第1の処理領域の中から前記複数の追跡対象点を選択し、
前記第2の処理セットにおいて、前記選択工程は、直前の第2の処理セットにおいて検出された各追跡対象点の前記動きベクトルが示す各追跡対象点の移動先を、現在の第2の処理セットのための前記複数の追跡対象点として選択する
ことを特徴とする画像処理方法。 - コンピュータを、請求項1乃至10のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018080161A JP7129201B2 (ja) | 2018-04-18 | 2018-04-18 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
US16/385,795 US10880457B2 (en) | 2018-04-18 | 2019-04-16 | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018080161A JP7129201B2 (ja) | 2018-04-18 | 2018-04-18 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019191661A true JP2019191661A (ja) | 2019-10-31 |
JP7129201B2 JP7129201B2 (ja) | 2022-09-01 |
Family
ID=68236064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018080161A Active JP7129201B2 (ja) | 2018-04-18 | 2018-04-18 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10880457B2 (ja) |
JP (1) | JP7129201B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111479063B (zh) * | 2020-04-15 | 2021-04-06 | 上海摩象网络科技有限公司 | 云台驱动方法、设备及手持相机 |
CN112991393A (zh) * | 2021-04-15 | 2021-06-18 | 北京澎思科技有限公司 | 目标检测与跟踪方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010016544A (ja) * | 2008-07-02 | 2010-01-21 | Nikon Corp | 撮像装置および画像処理装置、並びに画像処理プログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7136518B2 (en) * | 2003-04-18 | 2006-11-14 | Medispectra, Inc. | Methods and apparatus for displaying diagnostic data |
KR20060119707A (ko) * | 2004-02-13 | 2006-11-24 | 소니 가부시끼 가이샤 | 화상 처리 장치와 화상 처리 방법 및 프로그램 |
JP2007334625A (ja) | 2006-06-15 | 2007-12-27 | Sony Corp | 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置 |
CN101231755B (zh) * | 2007-01-25 | 2013-03-06 | 上海遥薇(集团)有限公司 | 运动目标跟踪及数量统计方法 |
JP4775277B2 (ja) | 2007-02-07 | 2011-09-21 | 株式会社デンソー | 画像処理装置及び画像処理方法 |
JP4507129B2 (ja) * | 2008-06-06 | 2010-07-21 | ソニー株式会社 | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
TWI334393B (en) * | 2008-10-07 | 2010-12-11 | Ind Tech Res Inst | Image-based vehicle maneuvering assistant method and system |
JP5644097B2 (ja) * | 2009-12-08 | 2014-12-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP4763863B1 (ja) * | 2009-12-28 | 2011-08-31 | パナソニック株式会社 | 関節状領域検出装置およびその方法 |
JP2012073997A (ja) | 2010-09-01 | 2012-04-12 | Ricoh Co Ltd | 物体追尾装置、物体追尾方法およびそのプログラム |
CN102890824B (zh) * | 2011-07-19 | 2015-07-29 | 株式会社东芝 | 运动对象轮廓跟踪方法和装置 |
US10089527B2 (en) * | 2012-03-26 | 2018-10-02 | Panasonic Intellectual Property Corporation Of America | Image-processing device, image-capturing device, and image-processing method |
JP6759550B2 (ja) * | 2015-03-04 | 2020-09-23 | ソニー株式会社 | 情報処理装置、プログラム、情報処理方法及び観察システム |
JP6727791B2 (ja) * | 2015-11-05 | 2020-07-22 | キヤノン株式会社 | 追尾制御装置および追尾制御方法、撮像装置 |
JP6671994B2 (ja) * | 2016-02-02 | 2020-03-25 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム、記憶媒体 |
JP6752024B2 (ja) * | 2016-02-12 | 2020-09-09 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
-
2018
- 2018-04-18 JP JP2018080161A patent/JP7129201B2/ja active Active
-
2019
- 2019-04-16 US US16/385,795 patent/US10880457B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010016544A (ja) * | 2008-07-02 | 2010-01-21 | Nikon Corp | 撮像装置および画像処理装置、並びに画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190327390A1 (en) | 2019-10-24 |
JP7129201B2 (ja) | 2022-09-01 |
US10880457B2 (en) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
KR20200041981A (ko) | 이미지 처리 방법, 기기, 및 장치 | |
JP7117872B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
JP2020053774A (ja) | 撮像装置および画像記録方法 | |
JP7129201B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2021128537A (ja) | 画像処理装置および画像処理方法、プログラム並びに記憶媒体 | |
US11196925B2 (en) | Image processing apparatus that detects motion vectors, method of controlling the same, and storage medium | |
JP6576179B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7077115B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022099120A (ja) | 被写体追尾装置およびその制御方法 | |
JP7013205B2 (ja) | 像振れ補正装置およびその制御方法、撮像装置 | |
JP2019192048A (ja) | 撮像装置 | |
JP2018072941A (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
JP7458723B2 (ja) | 画像処理装置、撮像装置、制御方法、およびプログラム | |
JP7324066B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP7475846B2 (ja) | 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法 | |
JP5928024B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016220144A (ja) | 撮像装置及び画像処理方法 | |
JP2017220834A (ja) | 撮像装置、撮像方法およびプログラム | |
JP2021107976A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022160333A (ja) | 画像処理装置および画像処理装置の制御方法 | |
JP2021180407A (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7129201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |