JP6223135B2 - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP6223135B2 JP6223135B2 JP2013236248A JP2013236248A JP6223135B2 JP 6223135 B2 JP6223135 B2 JP 6223135B2 JP 2013236248 A JP2013236248 A JP 2013236248A JP 2013236248 A JP2013236248 A JP 2013236248A JP 6223135 B2 JP6223135 B2 JP 6223135B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- information
- correction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 70
- 238000000034 method Methods 0.000 title claims description 34
- 230000003287 optical effect Effects 0.000 claims description 108
- 230000015572 biosynthetic process Effects 0.000 claims description 44
- 238000003786 synthesis reaction Methods 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 34
- 239000000203 mixture Substances 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 230000004075 alteration Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明の目的は、像振れ補正処理に伴って生じ得る画質低下を抑えつつ、像振れ補正された良好な映像を得ることである。
図1は、本実施形態に係る撮像装置の構成例を示すブロック図である。
撮像光学系101は、焦点調節用のフォーカスレンズ等を備え、レンズ群を通過して結像した光学像は、撮像素子103によって光電変換される。撮像素子103の出力信号はカメラ信号処理部105に入力され、ホワイトバランス処理や、色(輝度および色差信号)変換、γ補正等が施される。処理後の画像信号は第1メモリ106に記憶される。
第2メモリ109は複数枚の画像のデータを保持しており、該データを画像合成処理部110に出力する。画像合成処理部110は画像合成処理により1枚の画像としてデータを出力する。つまり、複数枚の画像のデータは、後述の合成率算出部114が算出する合成率に基づいて画像合成される。尚、本実施形態では、2枚の画像を合成する事例を説明する。合成処理後の画像データは、記録制御部により記録媒体に記録され、また表示装置の画面上に表示される。
振れ検出部111は、手振れや撮影者の体の揺れ等の撮像装置の振れを検出して、振れ検出信号をシステム制御部115に出力する。振れ検出には、ジャイロセンサを使用する検出法や、撮像した画像より求めた動きベクトル情報を使用する検出法等がある。
合成率算出部114は、光学情報取得部112から光学情報を取得して合成率を算出し、画像合成処理部110に出力する。尚、合成率の算出方法の詳細については後述する。
本実施形態では、出力画像に画素データの欠落等が生じないよう、図2に示す出力画像の座標(Xo,Yo)に基づき、入力画像上で画素のサンプリング及び補間を行うことで,幾何変換処理を実現する。幾何変形量算出部108は出力画像上の画素を順次スキャンし、光学情報取得部112から入力される光学情報に基づいて、出力画像上の画素座標を入力画像上の画素座標(X,Y)に変換する処理を行う。
画像合成処理部110は、連続して撮影された複数枚の画像群のデータを合成する。画像群のデータは第2メモリ109から読み出される。画像合成処理は、合成率Gに基づく重み付け合成処理である。例えば2フレームの合成処理を行うものとし、1枚目の画像の画素をI1(x,y)とし、2枚目の画像の画素をI2(x,y)とし、合成後の画像の画素をIg(x,y)とする。下記の計算式から合成画像の画素データが算出される。
S401でシステム制御部115は、カウント変数Nの値をゼロに初期化する。カウント変数Nは、撮影枚数の計数に使用する。S402でシステム制御部115は、振れ検出部111より振れ検出情報を取得する。S403でシステム制御部115は、振れ検出部111による振れ検出情報に基づいて、撮像光学系101のレンズ駆動情報を算出する。本実施形態では、撮像光学系101の一部をなす光学部材(シフトレンズ等の補正レンズ)を移動させることで、像振れ補正制御を実現する。
・Gm(m,n):第2メモリ109に保持した、小領域401ごとの解像度特性Mh(m,n)とMv(m,n)より求められる第1合成率。
・Gd(m,n):第2メモリ109に保持した、小領域401ごとの座標移動ベクトルdncx(m,n)とdncy(m,n)より求められる第2合成率。
下記に合成式を示す。
撮像光学系101に係るシフトレンズ駆動量または補正角が大きい画像ほど、特定の画像領域が高い像高位置で撮像される。このため、画像の解像度低下や、片ボケ等の画質低下が生じる可能性がある。そこで、撮像光学系101に係る駆動量が小さい画像の場合に合成率が大きくなるように演算が行われる。図8(A)を参照して、具体例を説明する。
画像合成の基準フレームをN=0とし、このときの撮影画像にて、小領域(m,n)における、基準フレームの小領域ごとの解像度特性をMh0(m,n)とMv0(m,n)とする。また、合成フレームの小領域ごとの解像度特性をMh1(m,n)とMv1(m,n)とする。解像度特性の差分Mdiffは、下式で示される。
Gd(m,n)は、第2メモリ109に保持した2枚の撮影画像の、小領域401ごとの座標移動ベクトルdncx(m,n)とdncy(m,n)より算出される。よって、座標移動ベクトル量が大きい画像ほど、画像の歪みが大きく、画像の拡縮量が大きいと推定され、折り返しや解像度低下等の画質低下を生じる可能性がある。そこで、座標移動ベクトル量が小さい画像の場合に合成率が大きくなるように演算が行われる。
尚、画像における合成率の算出処理では、各画像の小領域ごとの解像度特性(または座標移動ベクトル量)の比を算出し、その比率を正規化した値を合成率Gm(m,n)(またはGd(m,n))としてもよい。
図4のS415で画像合成処理部110は、第2メモリ109に保存された2枚の画像に対して、S413で算出された小領域ごとの合成率G(m,n)を用いて、画像合成処理を実行し、一連の処理を終了する。
本実施形態によれば、上記制御により、像振れ補正処理によって生じ得る画質低下(片ボケや、偏心歪曲収差に起因する局所的な画質低下)を抑えつつ、良好な映像を得ることができる。
107 幾何変形処理部
108 幾何変形量算出部
110 画像合成処理部
111 振れ検出部
112 光学情報取得部
114 合成率算出部
115 システム制御部
Claims (9)
- 撮像光学系を構成する補正手段により画像の像振れ補正を行う撮像装置であって、
撮像装置の振れを検出する振れ検出手段と、
前記振れ検出手段による振れ検出情報を取得して前記補正手段を制御する制御手段と、
前記撮像光学系の光学情報を取得して、前記補正手段により像振れ補正を行う際の幾何変形量を算出し、撮像された画像に対する幾何変形処理を行う処理手段と、
前記撮像光学系の光学情報を取得して、前記処理手段により幾何変形処理が行われた複数の画像に係る合成率を算出する合成率算出手段と、
前記合成率算出手段により算出された合成率を取得して、前記複数の画像を合成する画像合成手段と、を備えることを特徴とする撮像装置。 - 前記処理手段は、
前記撮像光学系の光学情報、および前記制御手段による前記補正手段の駆動量情報を取得する取得手段と、
前記撮像光学系の光学情報を取得して、前記補正手段により像振れ補正を行う際の幾何変形量を算出する算出手段と、
前記算出手段により算出される幾何変形量に従って、撮像された画像に対する幾何変形処理を行う幾何変形処理手段を備えることを特徴とする請求項1に記載の撮像装置。 - 前記合成率算出手段は、前記駆動量情報または該情報に対応する補正角の情報にしたがって前記合成率を算出することを特徴とする請求項2に記載の撮像装置。
- 前記合成率算出手段は、撮像された画像にて複数に分割された領域ごとに前記合成率を算出し、
前記画像合成手段は、複数の前記合成率を用いて、前記分割された領域ごとに画像合成処理を行うことを特徴とする請求項3に記載の撮像装置。 - 前記取得手段は、前記補正手段による像振れ補正時に前記撮像光学系の収差量の情報を取得し、前記合成率算出手段は、前記複数の画像に対して、前記撮像光学系の収差量が小さい画像領域ほど大きい合成率を算出することを特徴とする請求項4に記載の撮像装置。
- 前記取得手段は、前記撮像光学系の歪曲特性を示す収差量の情報を取得し、前記合成率算出手段は、前記複数の画像に対して、前記撮像光学系の歪曲量が小さい画像領域ほど大きい合成率を算出することを特徴とする請求項5に記載の撮像装置。
- 前記取得手段は、前記撮像光学系の解像度特性を示す情報を取得し、前記合成率算出手段は、前記複数の画像に対して、前記撮像光学系の解像度特性の差分が大きい画像領域ほど大きい合成率を算出することを特徴とする請求項4ないし6のいずれか1項に記載の撮像装置。
- 像振れ補正を行わない状態での前記撮像光学系の収差量または解像度特性の情報を記憶する記憶部を備え、
前記取得手段は、前記記憶部に記憶された前記情報、および前記制御手段による前記補正手段の駆動量情報もしくは補正角の情報を取得し、前記記憶部に記憶された前記情報に対して像高方向におけるシフト処理を行って像振れ補正時の収差量または解像度特性の情報を算出することを特徴とする請求項5ないし7のいずれか1項に記載の撮像装置。 - 撮像光学系を構成する補正手段により画像の像振れ補正を行う撮像装置にて実行される制御方法であって、
振れ検出手段により撮像装置の振れを検出する検出ステップと、
前記振れ検出手段による振れ検出情報を取得して前記補正手段を制御する制御ステップと、
前記撮像光学系の光学情報を取得して、前記補正手段により像振れ補正を行う際の幾何変形量を算出し、撮像された画像に対する幾何変形処理を行う処理ステップと、
前記撮像光学系の光学情報を取得して、前記幾何変形処理が行われた複数の画像に係る合成率を算出する合成率算出ステップと、
前記合成率算出ステップで算出された合成率を用いて、前記複数の画像を合成する画像合成ステップを有することを特徴とする撮像装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013236248A JP6223135B2 (ja) | 2013-11-14 | 2013-11-14 | 撮像装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013236248A JP6223135B2 (ja) | 2013-11-14 | 2013-11-14 | 撮像装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015095887A JP2015095887A (ja) | 2015-05-18 |
JP6223135B2 true JP6223135B2 (ja) | 2017-11-01 |
Family
ID=53197986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013236248A Expired - Fee Related JP6223135B2 (ja) | 2013-11-14 | 2013-11-14 | 撮像装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6223135B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6682336B2 (ja) * | 2016-04-20 | 2020-04-15 | オリンパス株式会社 | カメラシステム、及びカメラ本体 |
JP6746364B2 (ja) * | 2016-04-20 | 2020-08-26 | オリンパス株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3974964B2 (ja) * | 1996-11-08 | 2007-09-12 | オリンパス株式会社 | 画像処理装置 |
JP2006129175A (ja) * | 2004-10-29 | 2006-05-18 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2012029071A (ja) * | 2010-07-23 | 2012-02-09 | Fujifilm Corp | 撮像装置、画像処理装置、およびプログラム |
-
2013
- 2013-11-14 JP JP2013236248A patent/JP6223135B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015095887A (ja) | 2015-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101062502B1 (ko) | 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치 | |
JP5764740B2 (ja) | 撮像装置 | |
US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
JP5385740B2 (ja) | 撮像装置及び画像データの補正方法 | |
KR101109532B1 (ko) | 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체 | |
JP2012039177A (ja) | 撮像装置 | |
JP5729237B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010166558A (ja) | 撮像装置 | |
JP2017118197A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP5657184B2 (ja) | 撮像装置及び信号処理方法 | |
JP2015088833A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2018207413A (ja) | 撮像装置 | |
US7260271B2 (en) | Digital image data correction apparatus, digital image data correction method and digital image pickup apparatus | |
JP6223135B2 (ja) | 撮像装置およびその制御方法 | |
JP5424068B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
JP5173883B2 (ja) | 撮像装置 | |
JP3868446B2 (ja) | 撮像装置 | |
US11206344B2 (en) | Image pickup apparatus and storage medium | |
JP4496883B2 (ja) | 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体 | |
JP2006325276A (ja) | 撮像装置 | |
JP2005027046A (ja) | 画像処理装置及び画像処理方法 | |
JP2012147044A (ja) | デジタル顕微鏡 | |
JP6862225B2 (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
JP5482428B2 (ja) | 撮像装置、手ブレ補正方法、プログラム | |
JP5721552B2 (ja) | 撮像装置および画像合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171003 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6223135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |