JP6381273B2 - 撮像装置、画像処理システム、ならびにそれらの制御方法 - Google Patents
撮像装置、画像処理システム、ならびにそれらの制御方法 Download PDFInfo
- Publication number
- JP6381273B2 JP6381273B2 JP2014095505A JP2014095505A JP6381273B2 JP 6381273 B2 JP6381273 B2 JP 6381273B2 JP 2014095505 A JP2014095505 A JP 2014095505A JP 2014095505 A JP2014095505 A JP 2014095505A JP 6381273 B2 JP6381273 B2 JP 6381273B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- distribution
- image data
- image
- distribution data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 140
- 238000003384 imaging method Methods 0.000 title claims description 72
- 238000000034 method Methods 0.000 title claims description 43
- 210000001747 pupil Anatomy 0.000 claims description 60
- 238000006243 chemical reaction Methods 0.000 claims description 41
- 230000009467 reduction Effects 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 13
- 101150005874 DEF1 gene Proteins 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
例えば特許文献1には、デフォーカス量を算出可能な1対の画像を生成可能な撮像素子を備え、デフォーカス量に応じたボケ量を撮像画像に局所的に付加する撮像装置が開示されている。
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は、図1(a)に示すような、撮像装置の一例としてのデジタルカメラ100と、画像処理装置の一例としてのパーソナルコンピュータ200とが通信可能に接続された画像処理システム10に本発明を適用した例を説明する。しかし、以下においてパーソナルコンピュータ200が行う処理をデジタルカメラ100で実行してもよい。また、デジタルカメラ100は撮影機能を備えた任意の電子機器であってよく、またパーソナルコンピュータ200も以下に説明する処理が可能な任意の電子機器であってよい。なお、以下の説明において、画像に「ボケを付加する」とは、画像の鮮鋭度を低下させる、あるいはボカすことを意味する。
画像処理部206は例えば記録装置205からRAM203に展開された画像データに対して後述するデフォーカス量に応じた画像処理などを適用する。
g(x,y)=R(x,y)+L(x,y) ・・・(1)
つまり、撮像部105は、光電変換部503群で得られる画像データと、光電変換部503群および光電変換部504群で得られる画像データを加算して得られる画像データとを出力する。基本画像データg(x,y)は、射出瞳全体に対応する画像データである。
図4は、画像処理部107の機能を模式的に示した図である。図4では便宜上、画像処理部107が適用可能な各種の画像処理に対応した機能ブロックが存在するように記載している。しかし、図4は、デフォーカス量に応じたボケ量を適用するために行う画像処理の工程を模式的に機能ブロックで表したものであって、実際の構成とは必ずしも合致しない。例えば、画像処理部107がGPUやDSP等のプログラマブルプロセッサである場合、各機能ブロックはソフトウェア的に実施されてよく、また機能ブロック間の入出力線は存在しなくてよい。
そして、Def量分布算出部304は、左右の測距瞳に対応した縮小画像データRs(x,y)とLs(x,y)をそれぞれ複数の微小ブロックに分割し、対応する微小ブロックごとにデフォーカス量を算出することで、空間的なデフォーカス量の分布を求める。
C(k)=Σ|E(n)―F(n+k)| ・・・(2)
式(2)において、Σ演算はnについて行われ、nおよび(n+k)は1〜mの範囲に限定される。ずらし量は整数であり、データ系列を構成する画素データの抽出ピッチを単位とした相対的シフト量である。本実施形態では水平および垂直方向に1/N縮小した画像データを用いているので、縮小前画像データのピッチに換算するにはN倍する必要がある。
x=(kj+D/SLOP)・N ・・・(3)
D={C(kj−1)−C(kj+1)}/2 ・・・(4)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)}・・・(5)
Def=KX・PY・x ・・・(6)
Vs(x,y)=gs(x,y)◇PSF(x,y) ・・・(7)
式(7)において、◇は二次元のコンボリューション演算を表す。縮小ボケ付加基本画像データVs(x,y)311は例えば表示部110に表示され、ユーザが画像処理後の画像の仕上がりを図1のデジタルカメラ100で簡易的に確認するために用いられる。
PSF(x,y)=1/(π・r^2) if x^2+y^2≦r^2
PSF(x,y)=0 if x^2+y^2>r^2
・・・(8)
式(8)において、rは点像ボケの半径、ただしr=0の場合はPSF(x,y)=δ(x,y)とする。
r=0 if |Def|≦Def0
r=Zf・(|Def|−Def0)/N if Def0<|Def|≦Def1
r=Zf・(Def1−Def0)/N if Def1<|Def|
・・・(9)
Def1=M・Def0 ・・・(10)
Def(x,y)が表すデフォーカス量をDefmとすると、領域抽出部312は具体的には、
|Defm|≦Def0 である画素は出力しない、
Def0<|Defm|≦Def1 である画素は出力する、
Def1<|Defm| である画素は出力しない、
のように判定し、抽出データRp(x,y)を出力する。
・基本画像データg(x,y)(6400×4800画素)、
・縮小デフォーカス量分布画像データDefs(x,y)(1600×1200画素)、
・抽出データRp(x,y)
・右測距瞳に対応する画像データR(x,y)(6400×4800画素)と
・左測距瞳に対応する画像データL(x,y)(6400×4800画素)と、
を送信する場合に対し、ほとんどの場合で、記録もしくは送信データ量を削減することができる。そのため、デジタルカメラ100の撮影可能枚数を増やすことができるほか、外部装置との通信時間が短縮できるため、使い勝手がよくなるほか、デジタルカメラ100の消費電力を低減できる。
具体的には、デフォーカス量分布画像データを構成する画素データが表すデフォーカス量をDefmとすると、Def量分布算出部401は、
|Defm|≦Def0 であれば、更新しない(Defmを出力)、
Def0<|Defm|≦Def1 であれば、更新する、
Def1<|Defm| であれば、更新しない(Defmを出力)、
のように判定する。なお、ここで用いているDef0,Def1は、式(9)および(10)で用いたものと同じである。
Def量分布算出部401は、デジタルカメラ100から受け取った基本画像データg(x,y)と抽出データRp(x,y)とから、Rp(x,y)に対応する左測距瞳画像データLp(x,y)を求める。Def量分布算出部401は具体的には、g(x,y)からRp(x,y)を減算して、Lp(x,y)を取得する。上述したように、Rp(x,y)は、R(x,y)のうち、Def0<|Defm|≦Def1に該当するデフォーカス量を有する画素データを抽出したものである。
この時、Def量分布算出部401は、画像拡大部402から供給されるデフォーカス量分布画像データDefe(x,y)が表すデフォーカス量Defmを参照し、画素ごとにずらし量kの最大値kmaxを調整する。kmaxは式(6)から、以下のようになる。
kmax=Defm/(KX・PY) ・・・(11)
PYは相関量算出用データ系列を構成する画素データの抽出ピッチ、KXは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。
kmax=Defm/(KX・PY)+k0 ・・・(12)
V(x,y)=g(x,y)◇PSF(x,y) ・・・(13)
式(13)において、◇は二次元のコンボリューション演算を表す。
縮小点像分布関数PSF(x,y)は式(8)〜(10)に記載したものを用いることができる。
なお、本実施形態においては、図2に示すようにマイクロレンズ1つに対して一対の光電変換部が水平方向に配置された画素配列の撮像部105を用いた場合について説明した。しかし、本発明は他の方向に配置された一対の光電変換部を有する撮像部や、マイクロレンズ1つに対して3つ以上の光電変換部が配置された撮像部を用いる場合にも適用可能である。
L(x,y)=LT(x,y)+LB(x,y)
R(x,y)=RT(x,y)+RB(x,y)
T(x,y)=LT(x,y)+RT(x,y)
B(x,y)=LB(x,y)+RB(x,y)
g(x,y)=L(x,y)+R(x,y)
=T(x,y)+B(x,y)
L(x,y)、R(x,y)は、一対の光電変換部が水平に配置された場合に得られる画像データと同等の画像である。またT(x,y)、B(x,y)は、一対の光電変換部が垂直に配置された場合に得られる画像データと同等の画像である。また、上述のRp(x,y)は一対の光電変換部が水平に配置された場合に得られる抽出データだが、一対の光電変換部が垂直に配置された場合に同様にして得られる抽出データをTp(x,y)とする。
・g(x,y)とRs(x,y)から求めた縮小デフォーカス量分布画像データDefs(x,y)に基づくVsr(x,y)と、
・g(x,y)とTs(x,y)から求めた縮小デフォーカス量分布画像データDefs(x,y)に基づくVst(x,y)とを合成して求める。縮小デフォーカス量分布画像データDefs(x,y)についても同様である。複数の画像データを合成する方法は例えば加算平均であってよい。
次に、本発明の第2の実施形態に係る画像処理システムについて説明する。なお、本実施形態における画像処理システムは、第1の実施形態で説明したデジタルカメラ100と、パーソナルコンピュータ200とで構成可能であるため、重複する説明は省略する。
・基本画像データg(x,y)(6400×4800画素)、
・右測距瞳に対応する画像データR(x,y)(6400×4800画素)、
・縮小デフォーカス量分布画像データDefs(x,y)(1600×1200画素)
しかし、デフォーカス量の算出は縮小画像データに基づいて行っているため、Def量分布算出部304の処理負荷は大幅に軽減することができる。また、画像拡大部313と領域抽出部312による処理を省略できる。
上述の実施形態においては、基本画像データ(縮小されていない画像データ)に対してデフォーカス量に応じて行う画像処理を、撮像装置とは別個の画像処理装置で行うものとして説明した。しかし、画像処理装置を撮像装置に内蔵させたり、画像処理装置の機能を撮像装置の制御部101が実現したりすることで、画像処理を撮像装置で行うようにしてもよい。この場合でも、記録に係るデータ量を削減できるという効果は実現できる。例えば、通信部109が画像処理装置と正常に通信できない場合(例えば無線通信品質が悪い場合)に、デジタルカメラ100において画像処理を実行するように構成してもよい。外部の画像処理装置で行う場合よりも処理時間は長くなるであろうが、通信できない環境でも最終処理画像を作成することができる。
Claims (33)
- 射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小手段と、
前記複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、
前記分布データに基づいて、該分布データに対応し、前記縮小手段による縮小がなされていない瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出手段と、
前記複数の瞳分割画像データを出力せず、前記抽出手段により抽出した画素のデータと、前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力手段と、
を有することを特徴とする撮像装置。 - 前記予め定められた条件は、対応する前記分布データが表すデフォーカス量が予め定められた範囲であることを特徴とする請求項1に記載の撮像装置。
- 複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応する複数の光電変換部とを有する撮像素子と、
前記撮像素子から出力される、射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小手段と、
前記複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、
前記分布データに基づいて、該分布データに対応し、前記撮像素子から出力された瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出手段と、
前記複数の瞳分割画像データを出力せず、前記抽出手段により抽出した画素のデータと、前記分布データと、前記複数の光電変換部から出力された信号が混合された撮像画像データとを外部に出力する出力手段と、
を有することを特徴とする撮像装置。 - 前記抽出手段は、前記生成手段が生成した分布データを拡大した分布データに基づいて前記画素のデータを抽出することを特徴とする請求項1から請求項3のいずれか1項に記載の撮像装置。
- 複数の前記分布データが生成された場合、前記出力手段は複数の前記分布データを合成した分布データを出力することを特徴とする請求項1から請求項4のいずれか1項に記載の撮像装置。
- 前記撮像画像データが、前記複数の瞳分割画像データから生成されることを特徴とする請求項1から請求項5のいずれか1項に記載の撮像装置。
- 前記分布データに基づいて、前記撮像画像データの縮小画像データを構成する画素データのうち、予め定められた範囲のデフォーカス量を有する画素データに対して、予め定められた画像処理を適用する画像処理手段をさらに有することを特徴とする請求項1から請求項6のいずれか1項に記載の撮像装置。
- 前記画像処理手段は、複数の前記分布データが生成された場合、前記分布データごとに前記予め定められた画像処理を適用した縮小画像データを生成したのち、合成することを特徴とする請求項7に記載の撮像装置。
- 請求項1から請求項8のいずれか1項に記載の撮像装置の前記出力手段が出力した、前記抽出した画素のデータと、前記分布データと、前記撮像画像データとを取得する取得手段と、
前記抽出した画素のデータに基づいて、前記分布データを、前記撮像画像データにおけるデフォーカス量の分布を表す分布画像データに変換する変換手段と、
前記変換された前記分布データに基づいて、前記撮像画像データを構成する画素データのうち、予め定められた範囲のデフォーカス量を有する画素データに対して、予め定められた画像処理を適用する画像処理手段と、
を有することを特徴とする画像処理装置。 - 前記分布データが、縮小画像データの画素ごとのデフォーカス量を表し、
前記変換手段は、前記撮像画像データの画素ごとのデフォーカス量を表すように前記分布データを拡大したのち、前記抽出した画素のデータに対応する画素のデフォーカス量を再計算することにより、前記分布データを前記撮像画像データにおけるデフォーカス量の分布を表す分布データに変換することを特徴とする請求項9に記載の画像処理装置。 - 前記撮像装置の外部装置であることを特徴とする請求項9または請求項10に記載の画像処理装置。
- 請求項1から請求項8のいずれか1項に記載の撮像装置と、請求項11に記載の画像処理装置とが通信可能に接続されてなる画像処理システム。
- 前記撮像装置に内蔵されていることを特徴とする請求項9または請求項10に記載の画像処理装置。
- 射出瞳の異なる領域に対応する複数の瞳分割画像データのうち、一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、
前記分布データから、前記分布データよりも密度が低いデフォーカス量分布を表す分布データを生成する縮小手段と、
前記生成手段が生成した前記分布データを構成する画素データから、予め定められた条件を満たす一部の画素データを抽出する抽出手段と、
前記複数の瞳分割画像データを出力せず、前記抽出手段により抽出した画素データと、前記縮小手段が生成した前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力手段と、
を有することを特徴とする撮像装置。 - 前記予め定められた条件は、対応する前記分布データが表すデフォーカス量が予め定められた範囲であることを特徴とする請求項14に記載の撮像装置。
- 複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応する複数の光電変換部とを有する撮像素子と、
前記撮像素子から出力される、射出瞳の異なる領域に対応する複数の瞳分割画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、
前記分布データから、前記分布データよりも密度が低いデフォーカス量分布を表す分布データを生成する縮小手段と、
前記生成手段が生成した前記分布データを構成する画素データから、予め定められた条件を満たす一部の画素データを抽出する抽出手段と、
前記複数の瞳分割画像データを出力せず、前記抽出手段により抽出した画素データと、前記縮小手段が生成した前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力手段と、
を有することを特徴とする撮像装置。 - 複数の前記分布データが生成された場合、前記縮小手段は複数の前記分布データのそれぞれを縮小し、前記出力手段は前記縮小手段が縮小した複数の前記分布データを合成した分布データを出力することを特徴とする請求項14から請求項16のいずれか1項に記載の撮像装置。
- 前記撮像画像データが、前記複数の瞳分割画像データから生成されることを特徴とする請求項14から請求項17のいずれか1項に記載の撮像装置。
- 前記縮小手段が生成した分布データに基づいて、前記撮像画像データの縮小画像データを構成する画素データのうち、予め定められた範囲のデフォーカス量を有する画素データに対して、予め定められた画像処理を適用する画像処理手段をさらに有することを特徴とする請求項14から請求項18のいずれか1項に記載の撮像装置。
- 複数の前記分布データが生成された場合、前記縮小手段は複数の前記分布データのそれぞれを縮小し、前記画像処理手段は、前記縮小手段が縮小した前記分布データごとに前記予め定められた画像処理を適用した縮小画像データを生成したのち、合成することを特徴とする請求項19記載の撮像装置。
- 請求項14から請求項20のいずれか1項に記載の撮像装置の前記出力手段が出力した、前記抽出した画素データと、前記縮小手段が生成した前記分布データと、前記撮像画像データとを取得する取得手段と、
前記縮小手段が生成した前記分布データを、前記撮像画像データに対応する分布データに変換する拡大手段と、
前記撮像画像データを構成する画素データのうち、前記抽出した画素データに対応する画素データに対して、予め定められた画像処理を適用する画像処理手段と、
を有することを特徴とする画像処理装置。 - 前記撮像装置の外部装置であることを特徴とする請求項21に記載の画像処理装置。
- 請求項14から請求項20のいずれか1項に記載の撮像装置と、請求項22に記載の画像処理装置とが通信可能に接続されてなる画像処理システム。
- 前記撮像装置に内蔵されていることを特徴とする請求項21に記載の画像処理装置。
- 縮小手段が、射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小工程と、
生成手段が、前記複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成工程と、
抽出手段が、前記分布データに基づいて、該分布データに対応し、前記縮小工程で縮小されていない瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出工程と、
出力手段が、前記複数の瞳分割画像データを出力せず、前記抽出工程により抽出した画素のデータと、前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力工程と、
を有することを特徴とする撮像装置の制御方法。 - 複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応する複数の光電変換部とを有する撮像素子を有する撮像装置の制御方法であって、
縮小手段が、前記撮像素子から出力される、射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小工程と、
生成手段が、前記複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成工程と、
抽出手段が、前記分布データに基づいて、該分布データに対応し、前記撮像素子から出力された瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出工程と、
出力手段が、前記複数の瞳分割画像データを出力せず、前記抽出工程で抽出した画素のデータと、前記分布データと、前記複数の光電変換部から出力された信号が混合された撮像画像データとを外部に出力する出力工程と、
を有することを特徴とする撮像装置の制御方法。 - 取得手段が、請求項1から請求項8のいずれか1項に記載の撮像装置の前記出力手段が出力した、前記抽出した画素のデータと、前記分布データと、前記撮像画像データとを取得する取得工程と、
変換手段が、前記抽出した画素のデータに基づいて、前記分布データを、前記撮像画像データにおけるデフォーカス量の分布を表す分布画像データに変換する変換工程と、
画像処理手段が、前記変換された前記分布データに基づいて、前記撮像画像データを構成する画素データのうち、予め定められた範囲のデフォーカス量を有する画素データに対して、予め定められた画像処理を適用する画像処理工程と、
を有することを特徴とする画像処理装置の制御方法。 - 生成手段が、射出瞳の異なる領域に対応する複数の瞳分割画像データのうち、一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成工程と、
縮小手段が、前記分布データから、前記分布データよりも密度が低いデフォーカス量分布を表す分布データを生成する縮小工程と、
抽出手段が、前記生成工程で生成された前記分布データを構成する画素データから、予め定められた条件を満たす一部の画素データを抽出する抽出工程と、
出力手段が、前記複数の瞳分割画像データを出力せず、前記抽出工程で抽出した画素データと、前記縮小工程で生成された前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力工程と、
を有することを特徴とする撮像装置の制御方法。 - 複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応する複数の光電変換部とを有する撮像素子を有する撮像装置の制御方法であって、
生成手段が、前記撮像素子から出力される、射出瞳の異なる領域に対応する複数の瞳分割画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成工程と、
縮小手段が、前記分布データから、前記分布データよりも密度が低いデフォーカス量分布を表す分布データを生成する縮小工程と、
抽出手段が、前記生成工程で生成した前記分布データを構成する画素データから、予め定められた条件を満たす一部の画素データを抽出する抽出工程と、
出力手段が、前記複数の瞳分割画像データを出力せず、前記抽出工程で抽出した画素データと、前記縮小工程で生成した前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力工程と、
を有することを特徴とする撮像装置の制御方法。 - 取得手段が、請求項14から請求項20のいずれか1項に記載の撮像装置の前記出力手段が出力した、前記抽出した画素データと、前記縮小手段が生成した前記分布データと、前記撮像画像データとを取得する取得工程と、
拡大手段が、前記縮小手段が生成した前記分布データを、前記撮像画像データに対応する分布データに変換する拡大工程と、
画像処理手段が、前記撮像画像データを構成する画素データのうち、前記抽出した画素データに対応する画素データに対して、予め定められた画像処理を適用する画像処理工程と、
を有することを特徴とする画像処理装置の制御方法。 - 撮像装置が有するコンピュータを、請求項1から8、14から20のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
- 撮像装置が有するコンピュータを、請求項13または請求項24に記載の画像処理装置として機能させるためのプログラム。
- コンピュータを、請求項9から11、21、22のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014095505A JP6381273B2 (ja) | 2014-05-02 | 2014-05-02 | 撮像装置、画像処理システム、ならびにそれらの制御方法 |
US14/699,702 US10070068B2 (en) | 2014-05-02 | 2015-04-29 | Image capture apparatus, image processing system, and control method thereof |
US16/057,295 US10368012B2 (en) | 2014-05-02 | 2018-08-07 | Image capture apparatus, image processing system, and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014095505A JP6381273B2 (ja) | 2014-05-02 | 2014-05-02 | 撮像装置、画像処理システム、ならびにそれらの制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015213261A JP2015213261A (ja) | 2015-11-26 |
JP2015213261A5 JP2015213261A5 (ja) | 2017-06-08 |
JP6381273B2 true JP6381273B2 (ja) | 2018-08-29 |
Family
ID=54356148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014095505A Active JP6381273B2 (ja) | 2014-05-02 | 2014-05-02 | 撮像装置、画像処理システム、ならびにそれらの制御方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US10070068B2 (ja) |
JP (1) | JP6381273B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3288253A1 (en) * | 2016-08-25 | 2018-02-28 | Thomson Licensing | Method and apparatus for generating data representative of a bokeh associated to light-field data |
JP7059881B2 (ja) * | 2018-10-04 | 2022-04-26 | トヨタ自動車株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5066851B2 (ja) * | 2006-07-05 | 2012-11-07 | 株式会社ニコン | 撮像装置 |
JP5371331B2 (ja) * | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP5346266B2 (ja) * | 2009-09-30 | 2013-11-20 | 富士フイルム株式会社 | 画像処理装置、カメラ及び画像処理方法 |
JP5606208B2 (ja) * | 2010-08-03 | 2014-10-15 | キヤノン株式会社 | 焦点検出装置および撮像装置 |
JP5901246B2 (ja) * | 2010-12-13 | 2016-04-06 | キヤノン株式会社 | 撮像装置 |
JP2012133408A (ja) * | 2010-12-17 | 2012-07-12 | Sharp Corp | 画像処理装置およびプログラム |
JP2012142729A (ja) * | 2010-12-28 | 2012-07-26 | Nikon Corp | カメラ |
-
2014
- 2014-05-02 JP JP2014095505A patent/JP6381273B2/ja active Active
-
2015
- 2015-04-29 US US14/699,702 patent/US10070068B2/en active Active
-
2018
- 2018-08-07 US US16/057,295 patent/US10368012B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10368012B2 (en) | 2019-07-30 |
JP2015213261A (ja) | 2015-11-26 |
US20180352171A1 (en) | 2018-12-06 |
US20150319374A1 (en) | 2015-11-05 |
US10070068B2 (en) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
JP6415179B2 (ja) | 画像処理装置、画像処理方法、および撮像装置並びにその制御方法 | |
JP6319972B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2012003233A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2010050737A (ja) | ビデオ撮像装置および露光ガイド表示方法 | |
JP2016024489A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2013031154A (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP2018107526A (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
US10368012B2 (en) | Image capture apparatus, image processing system, and control method thereof | |
JP2015231118A (ja) | 画像合成装置、画像合成システム及び画像合成方法 | |
JP6270413B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP2010039759A (ja) | 撮像装置 | |
JP6614824B2 (ja) | 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP2019047336A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2019047365A (ja) | 画像処理装置、画像処理装置の制御方法、撮像装置、プログラム | |
JP2015233270A (ja) | 撮像装置およびその制御方法 | |
JP6639276B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP2017184007A (ja) | 画像処理装置、撮像装置、制御方法およびプログラム | |
JP2020136697A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2016208118A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP6626551B2 (ja) | 画像処理装置、画像処理方法、および撮像装置並びにその制御方法 | |
JP7361546B2 (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
JP2024100117A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170420 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6381273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |