JP7357596B2 - 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 Download PDFInfo
- Publication number
- JP7357596B2 JP7357596B2 JP2020162404A JP2020162404A JP7357596B2 JP 7357596 B2 JP7357596 B2 JP 7357596B2 JP 2020162404 A JP2020162404 A JP 2020162404A JP 2020162404 A JP2020162404 A JP 2020162404A JP 7357596 B2 JP7357596 B2 JP 7357596B2
- Authority
- JP
- Japan
- Prior art keywords
- amount
- imaging device
- image processing
- tracking target
- specific period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
図1は、撮像装置のハードウェア構成の一例を示すブロック図である。
図2は、追尾AFを行う際にCPUが実現する機能の一例を示すブロックである。
上記のように、追尾対象設定部100は、撮像部16から逐次出力される画像データ(動画像における各フレームの画像データ)から主要被写体を推定し、追尾対象に設定する。本実施の形態の撮像装置10において、追尾対象設定部100は、画像処理装置の一例である。
[被写体の特性に応じた閾値又は特定期間の設定]
動きベクトルの変化量の平均値を算出するための期間としての特定期間、及び、追尾対象を推定するための閾値については、追尾対象とする被写体の特性に応じて最適化することで、より精度よく追尾対象を推定できる。以下、この点について説明する。
撮像装置の動き量に基づいて、使用する閾値又は特定期間を切り替える場合、撮像装置の動き量の情報を取得する必要がある。
ここでは、撮像により得られた画像データ(動画像における各フレームの画像データ)から撮像装置の動き量を求める場合について説明する。撮像により得られた画像データから撮像装置の動き量を求める場合、画像データから求めた動きベクトルの情報を利用できる。
上記のように、本体の動き量を検出するセンサが撮像装置に備えられている場合には、そのセンサを利用して、撮像装置の動き量の情報を取得することもできる。
上記のように、最初から動いている被写体を追尾して撮像する場合、ユーザは、まず、追尾対象を画面内に捉える動作を行う。この動作を行った際、撮像装置は大きく動かされる。すなわち、目的とする被写体を画面内に捉えるため、短時間で比較的大きく動かされる。したがって、撮像装置の動きをモニタすることで、追尾対象の推定処理を開始するタイミングを最適化できる。すなわち、適切なタイミングで追尾対象の推定処理を開始できる。具体的には、撮像装置の動き量をモニタし、規定値以上の動き量が検出された場合に、追尾対象の推定処理を開始する。
追尾対象の推定処理は、ユーザからの指示に応じて開始する構成とすることもできる。たとえば、ボタン操作によって、追尾対象の推定処理の開始を指示する構成にできる。この場合、たとえば、追尾対象の推定処理の開始を指示するボタンを装置本体に設ける。ユーザが、このボタンを押下すると、追尾対象の推定処理が開示される。
表示部18にライブビューを表示する場合において、追尾AFを行う場合、追尾対象に設定された被写体を枠で囲って表示する構成とすることが好ましい。
上記実施の形態では、動きベクトルの検出結果に基づいて、追尾対象候補を抽出する構成としているが、追尾対象候補を抽出する構成は、これに限定されるものではない。公知の画像認識技術を利用して、追尾対象候補を抽出する構成とすることができる。たとえば、画像認識により動体を抽出する技術を利用し、抽出した動体を追尾対象候補とすることができる。また、たとえば、画像認識により、人物を抽出する技術(顔のみを抽出する場合を含む)を利用し、抽出した人物を追尾対象候補とすることができる。画像認識には、学習済みモデルを使用することができる。
上記実施の形態では、1画面を複数のブロックに分割し、ブロック単位で動きベクトルを算出する構成としているが、動きベクトルを算出する方法は、これに限定されるものではない。たとえば、上記のように、画像認識等を利用して追尾対象候補を抽出する場合、抽出した追尾対象候補の動きベクトルを直接算出する構成とすることもできる。
上記実施の形態では、位相差画素が組み込まれた撮像素子を用いて焦点検出(測距)する構成としているが、焦点検出の手段は、これに限定されるものではない。たとえば、専用の位相差AFセンサを用いて焦点検出する構成としてもよい。この他、いわゆるアクティブ方式のAFセンサ(赤外線センサ、超音波センサなど)を用いて焦点検出する構成としてもよい。また、コントラスト方式により焦点検出する構成としてもよい。
本発明の撮像装置には、いわゆるデジタルカメラ、ビデオカメラ等の他、撮像以外の機能を有する装置に一体的に組み込まれた撮像装置も含まれる。たとえば、スマートフォン、パーソナルコンピュータ等に組み込まれた撮像装置も含まれる。
画像処理装置(上記実施の形態では、追尾対象設定部が画像処理装置に相当)の各機能を実現するプロセッサには、汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
12 撮像光学系
12A フォーカスレンズ
12B 絞り
14 撮像光学系駆動部
14A フォーカスレンズ駆動部
14B 絞り駆動部
16 撮像部
16A 撮像素子
18 表示部
20 記憶部
22 接続部
24 操作部
26 CPU
28 ROM
30 RAM
100 追尾対象設定部
100A 動きベクトル算出部
100B 追尾対象候補抽出部
100C 変化量算出部
100D 追尾対象推定部
100E 動き量算出部
100F 閾値設定部
100G ブレ量算出部
100H 開始判定部
110 追尾対象検出部
112 フォーカスエリア設定部
114 位相差検出部
116 フォーカスレンズ駆動制御部
200 ブレ検出センサ
O1 人物
O2 人物
O3 木
S1~S7 追尾対象の設定処理の手順
S11~S15 撮像装置の動き量に基づいて追尾対象の設定処理を開始する場合の処理の手順
Claims (14)
- 撮像装置で撮像された動画像を処理する画像処理装置であって、
プロセッサを備え、
前記プロセッサは、
特定期間内で前記動画像から動きベクトルを時系列順に算出する処理と、
前記動きベクトルの変化量を時系列順に算出する処理と、
前記特定期間内における前記動きベクトルの変化量の平均値を算出する処理と、
前記動きベクトルの変化量の平均値が、マイナス方向において閾値を超える被写体を追尾対象と推定する処理と、
を行う、
画像処理装置。 - 前記プロセッサは、前記動画像を撮像した際の前記撮像装置の動き量に基づいて、前記閾値を設定する処理を更に行う、
請求項1に記載の画像処理装置。 - 前記プロセッサは、前記撮像装置の動き量が大きくなるほど前記閾値をマイナス方向に大きく設定する、
請求項2に記載の画像処理装置。 - 前記プロセッサは、前記撮像装置の動き量が基準値を超える場合、前記閾値を第1閾値に設定し、前記撮像装置の動き量が前記基準値以下の場合、前記閾値を前記第1閾値よりもマイナス方向において小さい第2閾値に設定する、
請求項3に記載の画像処理装置。 - 前記プロセッサは、前記撮像装置の動き量に基づいて、前記特定期間を開始する、
請求項1から4のいずれか1項に記載の画像処理装置。 - 撮像装置で撮像された動画像を処理する画像処理装置であって、
プロセッサを備え、
前記プロセッサは、
特定期間内で前記動画像から動きベクトルを時系列順に算出する処理と、
前記動きベクトルの変化量を時系列順に算出する処理と、
前記動きベクトルの変化量に基づいて、追尾対象を推定する処理と、
前記動画像を撮像した際の前記撮像装置の動き量に基づいて、前記特定期間を設定する処理であって、前記撮像装置の動き量が大きくなるほど前記特定期間を長く設定する処理と、
を行う、
画像処理装置。 - 前記プロセッサは、前記撮像装置の動き量が基準値を超える場合、前記特定期間を第1特定期間に設定し、前記撮像装置の動き量が前記基準値以下の場合、前記特定期間を前記第1特定期間よりも短い第2特定期間に設定する、
請求項6に記載の画像処理装置。 - 前記プロセッサは、前記動画像に基づいて、前記撮像装置の動き量を算出する処理を更に行う、
請求項1から7のいずれか1項に記載の画像処理装置。 - 前記撮像装置は、本体の動き量を検出するセンサを備え、
前記プロセッサは、前記センサから前記撮像装置の動き量の情報を取得する処理を更に行う、
請求項1から8のいずれか1項に記載の画像処理装置。 - 請求項1から9のいずれか1項に記載の画像処理装置と、
推定した追尾対象に焦点を合わせるようにフォーカスレンズを移動させて焦点調節を行う焦点調節部と、
を備えた撮像装置。 - 撮像装置で撮像された動画像を処理する画像処理方法であって、
特定期間内で前記動画像から動きベクトルを時系列順に算出するステップと、
前記動きベクトルの変化量を時系列順に算出するステップと、
前記特定期間内における前記動きベクトルの変化量の平均値を算出するステップと、
前記動きベクトルの変化量の平均値が、マイナス方向において閾値を超える被写体を追尾対象と推定するステップと、
を含む、
画像処理方法。 - 撮像装置で撮像された動画像を処理する画像処理方法であって、
特定期間内で前記動画像から動きベクトルを時系列順に算出するステップと、
前記動きベクトルの変化量を時系列順に算出するステップと、
前記動きベクトルの変化量に基づいて、追尾対象を推定するステップと、
前記動画像を撮像した際の前記撮像装置の動き量に基づいて、前記特定期間を設定するステップであって、前記撮像装置の動き量が大きくなるほど前記特定期間を長く設定するステップと、
を含む、
画像処理方法。 - 撮像装置で撮像された動画像を処理する画像処理プログラムであって、
特定期間内で前記動画像から動きベクトルを時系列順に算出する機能と、
前記動きベクトルの変化量を時系列順に算出する機能と、
前記特定期間内における前記動きベクトルの変化量の平均値を算出する機能と、
前記動きベクトルの変化量の平均値が、マイナス方向において閾値を超える被写体を追尾対象と推定する機能と、
をコンピュータに実現させる画像処理プログラム。 - 撮像装置で撮像された動画像を処理する画像処理プログラムであって、
特定期間内で前記動画像から動きベクトルを時系列順に算出する機能と、
前記動きベクトルの変化量を時系列順に算出する機能と、
前記動きベクトルの変化量に基づいて、追尾対象を推定する機能と、
前記動画像を撮像した際の前記撮像装置の動き量に基づいて、前記特定期間を設定する機能であって、前記撮像装置の動き量が大きくなるほど前記特定期間を長く設定する機能と、
をコンピュータに実現させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020162404A JP7357596B2 (ja) | 2020-09-28 | 2020-09-28 | 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020162404A JP7357596B2 (ja) | 2020-09-28 | 2020-09-28 | 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022055043A JP2022055043A (ja) | 2022-04-07 |
JP7357596B2 true JP7357596B2 (ja) | 2023-10-06 |
Family
ID=80998134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020162404A Active JP7357596B2 (ja) | 2020-09-28 | 2020-09-28 | 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7357596B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010193245A (ja) | 2009-02-19 | 2010-09-02 | Casio Computer Co Ltd | 撮像装置、撮像方法及び撮像プログラム |
JP2010250155A (ja) | 2009-04-17 | 2010-11-04 | Nikon Corp | 電子カメラ |
JP2011040990A (ja) | 2009-08-11 | 2011-02-24 | Nikon Corp | 撮像装置 |
JP2013197822A (ja) | 2012-03-19 | 2013-09-30 | Canon Inc | 撮像装置、その制御方法、および制御プログラム |
JP2017163510A (ja) | 2016-03-11 | 2017-09-14 | 富士通株式会社 | 撮影制御プログラム、撮影制御方法および撮影制御装置 |
-
2020
- 2020-09-28 JP JP2020162404A patent/JP7357596B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010193245A (ja) | 2009-02-19 | 2010-09-02 | Casio Computer Co Ltd | 撮像装置、撮像方法及び撮像プログラム |
JP2010250155A (ja) | 2009-04-17 | 2010-11-04 | Nikon Corp | 電子カメラ |
JP2011040990A (ja) | 2009-08-11 | 2011-02-24 | Nikon Corp | 撮像装置 |
JP2013197822A (ja) | 2012-03-19 | 2013-09-30 | Canon Inc | 撮像装置、その制御方法、および制御プログラム |
JP2017163510A (ja) | 2016-03-11 | 2017-09-14 | 富士通株式会社 | 撮影制御プログラム、撮影制御方法および撮影制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022055043A (ja) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106921B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
US8212896B2 (en) | Image capturing apparatus and method for controlling the same | |
US8692888B2 (en) | Image pickup apparatus | |
US10270978B2 (en) | Zoom control device with scene composition selection, and imaging apparatus, control method of zoom control device, and recording medium therewith | |
US9258481B2 (en) | Object area tracking apparatus, control method, and program of the same | |
US20160379075A1 (en) | Image recognition device and image recognition method | |
CN107850753B (zh) | 检测设备、检测方法、检测程序和成像设备 | |
JP6742173B2 (ja) | 焦点調節装置及び方法、及び撮像装置 | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
US20160189392A1 (en) | Object tracking apparatus, control method therefor and storage medium | |
JP5189913B2 (ja) | 画像処理装置 | |
JP6172973B2 (ja) | 画像処理装置 | |
JP7357596B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 | |
JP2018022128A (ja) | 焦点調節装置および方法、および撮像装置 | |
US12008773B2 (en) | Object tracking apparatus and control method thereof using weight map based on motion vectors | |
CN110024373B (zh) | 摄像装置、摄像方法及存储介质 | |
EP2690859B1 (en) | Digital photographing apparatus and method of controlling same | |
JP6024135B2 (ja) | 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム | |
JP2014127154A (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
US20230300460A1 (en) | Imaging apparatus, imaging control method, and imaging control program | |
US20240080554A1 (en) | Focusing apparatus, image pickup apparatus, focusing method, and storage medium | |
WO2023106103A1 (ja) | 画像処理装置およびその制御方法 | |
JP7278737B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
US20220270264A1 (en) | Image processing device, control method thereof, imaging device, and recording medium | |
US11616902B2 (en) | Apparatus to perform alignment to images, image processing method to perform alignment to images, and computer readable non-transitory memory to perform alignment to images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7357596 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |