JP6397281B2 - 撮像装置、その制御方法およびプログラム - Google Patents

撮像装置、その制御方法およびプログラム Download PDF

Info

Publication number
JP6397281B2
JP6397281B2 JP2014185232A JP2014185232A JP6397281B2 JP 6397281 B2 JP6397281 B2 JP 6397281B2 JP 2014185232 A JP2014185232 A JP 2014185232A JP 2014185232 A JP2014185232 A JP 2014185232A JP 6397281 B2 JP6397281 B2 JP 6397281B2
Authority
JP
Japan
Prior art keywords
image
pixels
exposure
pixel data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014185232A
Other languages
English (en)
Other versions
JP2015109635A (ja
JP2015109635A5 (ja
Inventor
木村 正史
正史 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014185232A priority Critical patent/JP6397281B2/ja
Priority to US14/518,230 priority patent/US9554054B2/en
Priority to EP14003617.9A priority patent/EP2866430B1/en
Priority to CN201410571902.0A priority patent/CN104580921B/zh
Priority to KR1020140143897A priority patent/KR20150047112A/ko
Publication of JP2015109635A publication Critical patent/JP2015109635A/ja
Publication of JP2015109635A5 publication Critical patent/JP2015109635A5/ja
Application granted granted Critical
Publication of JP6397281B2 publication Critical patent/JP6397281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、撮像装置に関し、特に複数の視差画像を取得可能な撮像装置の露出制御技術に関する。
従来、撮像装置の自動化の中で露出の自動化(いわゆる AE)が図られてきた。一方、近年では2つ以上の視差像を取得するシステムが多く提案され、それらの露出制御に関しても提案がなされている。例えば、特許文献1では複数の撮像装置を備えた撮影システムにおいて、それぞれの撮像装置の露出条件を異ならせて撮影し、その後画像処理で合成するシステムが開示されている。
特許文献2では視差を優先するようにしてプログラム線図を組み、視差を優先した露出条件を決定する撮像システムが開示されている。
非特許文献1では、光線空間情報を取得可能なカメラシステムが開示されている。このシステムでは像の取得後にピント調整(いわゆる リフォーカス)する方法が開示されている。
特開2012−124622号公報 特開2011−197278号公報
Ren Ng,et al.,"Light Field Photography with a Hand−held Plenoptic Camera",2005 Computer Science Technical Report CTSR
しかしながら、上述の特許文献に開示された従来技術では、1つの撮像素子から多くの視差像を同時に取得可能なシステムにおいて必ずしも望ましい露出が得られるとは限らない。すなわち特許文献1に開示された発明は、複数の撮像装置をまとめた撮像システム(いわゆる多眼カメラ)においては適用可能であるが、単眼システムでは実施が容易ではない。
特許文献2に開示された発明は、視差を優先する機能があるという概念は実現可能であるが、撮影光学系のケラレが複雑に存在する場合などに対応できない。
非特許文献1に開示された発明はリフォーカスや絞り値変更などの概念を広く開示しているが、光線空間情報の取得においていかに露出条件を決定するかについては述べていない。
そこで、本発明の目的は、撮影光学系にケラレがある状態にあっても、ユーザーが優先的に設定している機能に応じた露出条件を決定できる撮像装置を提供することである。
発明の一観点によれば、撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、前記光束を前記複数の画素で光電変換することにより生成される画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定手段と、を備え、前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから前記ケラレ状態に従って選択された画素データに基づいて前記露光条件を決定する第1の露光モードと、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを前記射出瞳領域に関して加算することにより得られるデータに基づいて前記露光条件を決定する第2の露光モードとを有することを特徴とする撮像装置が提供される。
また、本発明の他の観点によれば、撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、前記射出瞳領域の一部に対応する画素から得られる画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、前記露光条件決定手段によって決定される前記露光条件に基づいて前記撮像手段の露光を制御する制御手段と、を備えることを特徴とする撮像装置が提供される。
また、本発明の更に他の観点によれば、撮影光学系によって形成される被写体の光学像を光電変換する複数の光電変換手段を有する撮像手段を有する撮像装置であって、前記撮影光学系の像面と、前記撮影光学系の前記像面とは異なる所定の像面とのうちのいずれかにおける再構成画像を、前記光電変換手段によって生成される画素データから生成する再構成手段と、前記再構成手段によって生成される前記再構成画像に基づいて前記撮像手段の露光条件を決定する露光条件決定手段と、前記露光条件決定手段によって決定された前記露光条件に基づいて前記撮像手段の露光を制御する制御手段と、を備えることを特徴とする撮像装置が提供される。
また、本発明の更に他の観点によれば、撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、前記光束を前記複数の画素で光電変換することにより生成される画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、を備え、前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データが適正露光になるように前記露光条件を決定する第1の露光モードと、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを前記射出瞳領域に関して加算することにより得られるデータが適正露光となるように前記露光条件を決定する第2の露光モードとを有することを特徴とする撮像装置が提供される。
本発明によれば、撮影光学系によるケラレがある状態にあっても、ユーザーが優先的に設定している機能に応じた露出条件を決定できる撮像装置を提供することが出来る。
本発明の実施例に係る撮像装置のブロック図 図1の撮像装置の撮影光学系の要部を説明するための図 本発明の実施例に係る撮像装置の露出決定制御の動作のフローチャートを示す図 光学系のケラレ状態とケラレ算出部の動作を説明するための図 本発明の実施例に係わる撮像装置での撮影により得られる画像の例を示す図 図5に示す画像を生成するための画像処理を模式的に示す図
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
以下、図1から図6を参照して、本発明の第1の実施例を説明する。
図1は、本実施例に係る撮影装置のブロック図である。本撮像装置は、例えばデジタルカメラなどのように、カメラ本体1とレンズユニット2からなるカメラシステムであり、撮像系、画像処理系、記録再生系、制御系を有する。なお、レンズユニット2は、カメラ本体1に着脱可能に構成することも可能である。
また、本実施例に係る撮像装置は、後述するように、光線空間情報の取得を可能にする撮影光学系と撮像手段とを有し、それらによって取得された画素データを用いた露出条件の決定を本発明の構成に従って制御する。このように、本発明は、光線空間情報の取得を可能な撮像装置における絞り位置や露出時間などの露出条件を決定するための技術的思想を対象にしている。
撮像系は、撮影レンズ、焦点レンズ等を含む撮影光学系3、撮像素子6を含み、画像処理系は、画像処理部7を含む。また、記録再生系は、メモリ部8、表示部9を含み、制御系は、カメラシステム制御部5、操作検出部10、およびレンズシステム制御部12、レンズ駆動部13を含む。レンズ駆動部13は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。本実施例においては、操作検出部10およびメモリ部8がユーザー設定部を構成する。すなわち後述する露光モードの設定および記憶をする。
撮像系は、物体からの光を、撮影光学系3を介して撮像素子6の撮像面に結像する光学処理系である。撮影素子6表面にはマイクロレンズ(以下、ML)が格子状に配置してあり、いわゆるマイクロレンズアレイ(以下、MLA)14を形成している。MLA14は本実施例において、瞳分割手段を構成する。MLA14の機能や配置の詳細については図3を用いて後述するが、瞳分割手段の作用により撮影素子6からピント評価量/適当な露光量が得られるので、この信号に基づいて適切に撮影光学系3が調整される。これにより、適切な光量の物体光を撮像素子6に露光するとともに、撮像素子6の近傍で被写体の光学像が結像することが可能となる。
画像処理部7は、内部にA/D変換器、ホワイトバランス部、ガンマ補正部、補間演算部等を有しており、記録用の画像を生成することができる。また、本発明の要部である、露光条件決定部、ケラレ決定部、画像生成部を含めることもできる。なお、本実施例ではこれらの要素はカメラシステム制御5内に配置する場合を想定している。
メモリ部8は実際にデータを記憶する記憶部に加えて記録に必要な処理部を備えている。メモリ部は、記録部へ出力を行うとともに、表示部9に出力する像を生成、保存する。また、メモリ部8は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
カメラシステム制御部5は、撮像の際のタイミング信号などを生成して出力するとともに、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部10が検出して、撮像素子6の駆動、画像処理部7の動作、メモリ部8の圧縮処理などを制御する。さらにカメラシステム制御部5は、表示部9によって液晶モニタ等に情報表示を行うための情報表示装置の各セグメントの状態を制御する。これらの制御は、カメラシステム制御部5が、内部に含む図示しないメモリに記憶された制御プログラムをロードし、設定されているデータ等を参照して実行することで実現される。制御系による光学系の調整動作について説明する。カメラシステム制御部5には画像処理部7が接続されており、本発明に従い、撮像素子6からの信号に基づいて、撮影条件に適切な焦点位置、絞り位置を決定する。カメラシステム制御部5は、電気接点11を介してレンズシステム制御部12に指令を送信し、レンズシステム制御部12は、受信した指令に従いレンズ駆動部13を適切に制御する。さらにレンズシステム制御部12には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動部13を介してブレ補正レンズを適切に制御する。
図2は、本実施例における撮影光学系の要部を説明するための図である。なお、同図において、図1と同様の部分は、同じ符号を付して示す。
本発明を適用した撮像装置においては、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。そのために、本実施例では、角度情報の取得のために撮影光学系3の結像面近傍にMLA14を配置するとともに、MLAを構成する1つのMLに対して、撮像素子6の複数の画素を対応させている。
図2(a)は撮像素子6とMLA14の関係を模式的に示す図である。図2(b)は撮像素子6の画素21とMLA14の対応を示す模式図である。図2(c)は、MLA14によってMLA14に対応して配置された画素が特定の瞳領域と対応づけられることを示す図である。
図2(a)に示すように撮像素子6上にはMLA14が設けられており、ML20の前側主点は、撮影光学系3の結像面近傍になるように配置されている。図2(a)は、撮影装置をその側面から、MLA14をその正面から見た外観を模式的に示し、撮像装置の正面から見るとMLA14の各ML20が撮像素子6上の画素を覆うように配列されている。なお、図2(a)では、MLA14を構成する各MLを見やすくするために、大きく記載したが、実際には各MLは画素の数倍程度の大きさしかない。なお、実際の大きさについては図2(b)を用いて説明する。
図2(b)は図2(a)の撮像装置の正面から見た図の一部を拡大した図である。図2(b)に示す格子状の枠は、撮像素子6の各画素21を示している。一方、MLA14を構成する各ML20は太い円で示してある。図2(b)から明らかなように、ML1つに対して所定数の画素が割り当てられており、図2(b)の例では、5行×5列=25個の分割画素(まとめて単位画素と称す)が1つのマイクロレンズに対して設けられている。すなわち、各マイクロレンズの大きさは画素のおおきさの5倍×5倍の大きさであるが、これに限られるものではない。
図2(c)は、撮像素子6を、MLの光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図2(c)の21−a、21−b、21−c、21−d、21−eは、撮像素子6の画素(1つの光電変換部)を示している。一方、図2(c)の上方に示した図は撮影光学系3の射出瞳面を示している。実際には、図2(c)の下方に示したセンサの図と方向を合わせると、射出瞳面(X−Y面)は図2(c)の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図2(c)においては説明を簡単にするために、1次元の投影/信号処理について説明する。実際の装置においては、これを容易に2次元に拡張することができる。
図2(c)の分割画素21−a、21−b、21−c、21−d、21−eは、図2(b)の21−a、21−b、21−c、21−d、21−eとそれぞれ対応する位置関係にある。図2(c)に示すように、ML20によって各画素は、撮影光学系3の射出瞳面上の特定の射出瞳領域と共役になるように設計されている。図2(c)の例では、画素21−aと領域25−aが、画素21−bと領域25−bが、画素21−cと領域25−cが、画素21−dと領域25−dが、画素21−eと領域25−eがそれぞれ対応している。すなわち画素20−aには撮影光学系3の射出瞳面上の領域30−aを通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子6上の位置関係から被写体光の角度の情報を取得することが可能となる。
ここで後述の説明を簡単にするために追加の記号を導入する。図2(c)に示すように、撮像素子6の画素ピッチをΔx、角度分解能をΔθとする。さらに角度の分割数をNθ(図2の例ではNθ=5)とする。画素ピッチは撮像素子6の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Nθで決定される。すなわち、物理的な構造(撮像素子6およびML20の構造)のみによってこれらのパラメータは決定される。
図2を用いて説明した光学系では、MLAを利用することで光線の入射角度を規定することができる。すなわち、図2の光学系を使用して被写体光を撮像することで、入射した光線の位置に加えて角度の情報を取得可能である。近年、このような光線の位置および角度の情報は、ライトフィールド情報と呼ばれて、ライトフィールド情報を取得可能な撮像装置をライトフィールドカメラまたはプレノプティックカメラと通称されている。
本実施例に係る撮像装置における露光条件の決定動作について図3および図4を用いて説明する。
図3は、本実施例に係わる撮像装置における露光条件の決定動作のフローチャートを示す。以下、図3のフローチャートに従って、本実施例示の動作を、順を追って説明する。なお、図3のフローチャートに従った動作は、カメラシステム制御部5が各部を制御することで行われる。
ステップS301で、カメラシステム制御部5は動作を開始する。例えば、操作検出部10の出力や時間をトリガーとして動作を開始する。
ステップS302で、カメラシステム制御部5はユーザー設定部によって定められた設定を読み込む。この設定は、後述するステップS303やステップS304での分岐判断の根拠として用いられる。そのため、例えば、撮影において、ユーザーが連写速度を優先したいかどうか、リフォーカス画像を出力したいかどうか、ケラレによるノイズ対策(ノイズ低減)を優先したいかどうかなどの情報を、設定データ部の設定データとして保持しておく。
また、ステップS303やステップS304は本実施例の構成を反映した技術的構成についての分岐判断になっているが、実際のインターフェイスはこのようなものではなくカメラの機能に対応したものであっても良い。例えば“加算像に基づいて露出を設定する”というような表現ではなく、“連写速度を優先する”のように、ユーザーが機能として理解しやすい表現にしておくと都合が良い。また、ユーザーによる設定の一例として、カメラシステム制御部5及び画像処理部7は、予め取得される画素データに基づき被写体を検出して表示画面上に報知し、ユーザーは後にリフォーカスを行う可能性のある被写体を1乃至複数選択する。すると、後段の露出条件決定の際には、選択された1乃至複数の被写体にピントの合うリフォーカス面における露出が適切となるように、合焦面における各被写体を構成する画素からの信号に重みを付けて露出条件が決定される。また、別の例として、ユーザーは、後に視点変更を行いたいか否かの意思を入力、設定しておくことで、検出された被写体の数や位置、向きに応じてどの視点の画像が重要かを評価し、重要な視点の画像を構成する画素からの信号に重みを付けて露出条件が決定される。複数の被写体が左右に重なって検出されている場合には、マイクロレンズ中の左端、右端の画素からの信号ほど重みを付けて露出条件を決定することで、左右に視線を振った視点画像の明るさを適切にすることができる。
ステップS303は、カメラシステム制御部5は、露出条件を加算信号(単位画素データ)に基づいて決定するか、各視差画像に基づいて決定するかを、ステップS302で読み込んだユーザー設定に基づいて判断する。露出条件を加算信号に基づいて決定する場合はステップS304に進み、各視差像に基づいて決定する場合はステップS309に進む。また、これに限らず、加算信号、視差信号を両方加味して露出条件を決定しても良い。その場合、ステップS107、S110で生成される加算像、視差像それぞれで求まる露出条件を重み付け加算などして最終的な露出条件を決定するとよい。
ステップS304は、カメラシステム制御部5は、露出条件をリフォーカス面で求めるか否かを決定する。非特許文献1によると、上述した本実施例に係る撮像装置は、リフォーカス可能な画素データを生成することが可能である。リフォーカスの方法などについては、先行文献に開示されているのでここでは割愛する。
一般的な撮像装置においては、ピント調整はレンズユニット2のレンズ駆動部13を介して撮影光学系3を調整することで行われる。つまり、撮像素子6上に結像している像が最終的に出力されるピント状態であり、その状態で露出条件を決定すればよい。一方、本実施例に係る撮像装置は、3つの露光モードを備えている。すなわち、ステップS303およびステップS304の分岐において、ステップS309を経由する場合が第1の露光モード、ステップS304→ステップS307を経由する場合が第2の露光モードである。また、ステップS304→ステップS305を経由する場合が第3の露光モードである。本実施例では、これら3つの露光モードを、ユーザー設定に従って使い分ける。
連写速度を優先したい場合には、読み出し時に視差像を加算して読み出すとともに、加算像に基づいて露出を決定すればよい。このようにすることで加算像の飽和を抑制しつつ(各視差像はアンダーな露光条件になっている)、高速に読み出しおよび連写することが可能となる。このような場合には第2の露光モードを使用すればよい。
一方、連写速度優先の場合には、ノイズの低減という効果が犠牲になる。ノイズ低減を優先したい場合には、読み出し時に視差像をそれぞれ分離して読み出し、各視差像に基づいて露出を決定する。このようにすることで、視差像の飽和を抑制しつつ(加算像はオーバーなので飽和の可能性がある)、読み出し後の加算合成によりノイズの低減を図ることが可能となる。このような場合には、第1の露光モードを使用すればよい。
また、リフォーカスを使用して最終的な像を生成するような場合には、露出条件をリフォーカス面で求めるほうが都合が良い。リフォーカスしない状態ではボケ像を観察していることになり、そのような画像で露出条件を決定すると、スポット測光などを行う場合には不適切になる可能性があるためである。このような場合には第3の露光モードを用いればよい。
上述した露出条件の決定における判断基準である連写速度、ノイズ低減、リフォーカスでの最終像の出力というような機能は、一つの例である。これらに限らず、実現したい機能や撮影設定に応じて露光モードを適当に選択すれば良い。本実施例では、ステップS302でユーザーの設定を確認して都合が良い読み出し方に適した露出条件を決定している。
本実施例に係わる撮像装置はリフォーカス可能な画素データを生成するので、ピント調整機能の一部を画像処理で行うシステムも考えられる。そのようなシステムにおいては、撮像素子6の信号をそのまま加算して(リフォーカスせずに)露出条件を求めた場合、その結果が適切にならない場合がある。具体的には、小さくて明るい輝点が露出条件を決定する範囲内に存在する場合に、ピントが合っていない状態とピントが合っている状態では輝度の分布が大きく変化する。ピントが合っている場合は輝点部が非常に明るく観察されるが、ピントがずれると大きく輝度が低減して(ピンボケによって平均化されて)観察される。このように明るさの分布が大きく異なってしまう。そこで、最終的に出力する像面(リフォーカス面)での像を予め生成して、当該リフォーカス面で露出条件を決定すると、出力されるリフォーカス像が適当な露出条件で得られるため都合が良い。
そこで、ステップS304の分岐は、ユーザーがリフォーカスによるピント調整を有効にしているか否かなどのユーザー設定によって分岐させればよい。リフォーカスによるピント調整を有効にしている場合にはステップS305に進み、リフォーカスによるピント調整を無効にしている場合にはリフォーカス量を0としてステップS307に進む。
ステップS305はデフォーカス量の計算を行う。いわゆるピント検知といわれる技術と同一である。デフォーカス量を計算することで、主要な被写体までのピントのずれ量を定量的に把握する。ステップS306では、カメラシステム制御部5が主被写体検知を行う。画像からの被写体検知や、ステップS305のデフォーカス量の計算時の評価量などから被写体を決定すればよい。画像からの被写体検知は、顔検出などとしてよく知られている。ステップS305を用いる方法としては、デフォーカス量の計算の評価値の変化量が大きい箇所やもっとも評価量が良いと判断された箇所などを利用すればよい。ステップS305とステップS306によって、被写体が存在する位置(奥行)が分かり、リフォーカスすべき量が決定される。
ステップS307では、カメラシステム制御部5はリフォーカス量に応じた面での像を生成する。光線空間情報はそのままではユーザーが直感的に認識しにくい形式であるため、通常の像と同じように扱えるようにするためには現像を行う必要がある。ここでいう現像とは、光線空間情報から任意のリフォーカス位置での再構成画像を生成する操作を画素データに行う処理動作である。具体的な内容は非特許文献1にあるように、リフォーカス面の各位置に入射する光線を集めて、瞳面に関して積分(加算)することでその面での単位画素を生成すればよい。ステップS307は、この現像を行う動作であり、カメラシステム制御部5の画像生成部によって行われる具体的な動作である。なお、本実施例に係る撮像装置におけるリフォーカス面の設定は、ユーザーがユーザー設定部により設定できる構成であるとする。
ステップS309は、カメラシステム制御部5のケラレ算出部の具体的動作であり、ケラレが最も少ない画素(視差画素)を求める。ケラレ算出部の動作については図4を用いて後述する。
ステップS310では、カメラシステム制御部5は、ステップS309で選んだ画素により視差像を生成する。ステップS308では、ステップS307またはステップS310から得られた像に基づいて露出条件を決定する。ステップS311で終了する。
次に、図4を用いて光学系のケラレ状態とケラレ算出部の動作を説明する。
図4(a)は、撮像素子6と絞り43および各種レンズ枠42,44とケラレの関係を模式的に示している。ここで、レンズ枠はレンズの保持等を行う部分であり、一般的に画面中心40では光線を制限しないが像高に応じて光線を制限する端面となりうる個所である。図4(b)は、画面中心40での絞り43および各種レンズ枠42,44の位置関係を示す図であり、図4(c)は、撮像素子6上の一つの点41での絞り43および各種レンズ枠42,44の位置関係を示す図である。図4(d)および図4(e)は、図4(c)に示すケラレがある状態での撮像画素との対応を示す図であり、図2(b)と同様に、撮像装置の正面から見た図である。
なお、図4(a)では説明を容易にするため、レンズ枠は絞り43に対して撮像素子6側とその反対側に1つずつ描かれているが、必ずしも1つずつである必要はない。図4(a)において絞り43を示す太い直線は、開口の大きさを1次元的に示したものである。実際の絞りはほぼ円形であるがその直径を模式的に示していると考えれば良い。これはレンズ枠42,44についても同様である。画面中心40から見た場合、絞り43に向かう光線はレンズ枠42,44によってケラレが発生することが無い。この場合を図4(b)に示した。図4(b)は、絞り43およびレンズ枠42,44を画面中心40に対して絞り43の面に投影したものである。この時42,43,44は同心円をなしており且つ絞り43の径が最も小さいために、レンズ枠42,44によってケラレが発生していないことが分かる。
一方、一定の像高がある点41から見た場合、レンズ枠42,44によるケラレが発生する可能性がある。図4の例では、撮像素子6側にあるレンズ枠44によってケラレが発生している。ケラレの発生した領域を符号45で図示す。図4(b)と同様に、点41に対して絞り43およびレンズ枠42,44を絞り43の面に投影したものを図4(c)に示した。レンズ枠44によってケラレが発生している様子が分かる。
また、図4(a)から(c)から分かるように、このケラレの状態を決定している要因は、撮影光学系を構成している物理的要因である瞳距離、瞳径、像高、レンズ枠の距離、レンズ枠の径などによって支配されている。ここで、瞳距離は図4(a)での撮像素子6と絞り43との距離、瞳径はFナンバーで、図4(a)では絞り43の幅であり、像高は図4(a)では画面中心40と撮像素子6上のある点41の比較で表現される位置である。また、レンズ枠の距離は、図4(a)では撮像素子6とレンズ枠42,44との距離であり、レンズ枠の径は、図4(a)ではレンズ枠42,44の幅である。これらの情報を実際の撮影条件に応じてレンズとの通信などによって取得して、適当に処理を施すことから図4(c)のように瞳面でのケラレ状態が決定される。これにより、各MLに対応する単位画素(5行×5列)内でケラレが発生している画素を特定することができるので、ケラレの影響の無い視差画像の生成が可能となる。図4(d)は図2に示す例のように1つのMLに5x5の画素が対応しており、Nθ=5の状態を示している。図4(e)は、Nθ=2の状態を示している。
図4(d)に示すように、ケラレがある場合には、入射する光束が大きく制限されている画素(視差)が存在する。図4(d)の例では画素46はケラレが無く画素が開口率100%の状態にある。ここで、開口率とは、画素を瞳面に投影した時にケラレが生じていない面積の画素面積に対する比率と定義する。一方、画素47に着目すると、ケラレがない状態では開口率が100%となるはずであるが、図4(d)では大きくケラレが存在している。画素47のようにケラレが存在する画素に基づいて露出条件を決めた場合、ケラレのない画素46は飽和する恐れがある。一方で、ケラレの存在しない画素46に基づいて露出条件を決定すれば飽和を回避できる。
ケラレの状態を推定してケラレのある画素を利用する方法も考えられ、ステップS309による視差像の限定は必ずしも必要はない。しかし、ケラレが大きい画素には光束が少ししか入らないためノイズの影響を受けやすいとともに寸法誤差によるケラレ状態の推定にも誤差が生じる。つまり、部品の誤差や信号のノイズの影響を受けて安定して露出条件を決定するのには不向きである。従って、ケラレの少ない画素を使用することが好ましい。
図4(d)の例では、ケラレのない画素(視差)は複数あるのでそのうち都合の良いものを用いればよい。例えばケラレのない範囲で光軸中心に近いものなどを選べばよい。
図4(e)の例ではNθ=2なので図4(d)と同じケラレ状態であるにもかかわらずケラレのない画素は存在しない。もっともケラレの小さい画素(視差)が48であり、その他の画素49a,49b,49cはレンズ枠44によって画素48よりも大きくケラレている。図4(e)の例では画素48を選択すれば良い。
図4を用いて説明したようにケラレ算出部は、通信などで得た瞳距離、瞳径、像高、レンズ枠の距離、レンズ枠の径などの情報から各画素(視差)のケラレを算出する。
以上述べたように、ユーザーが連写速度を優先したい場合には、第2の露光モードになり、加算像(所定の画像)に基づいて露出を決定する。ノイズ低減を優先したい場合には、第1露光モードになり、各視差画像(所定の画像)に基づいて露出を決定する。さらにはリフォーカス像(所定の画像)を出力する場合には第3の露光モードになり、リフォーカス面での加算像(再構成画像)に基づいて露出を決定する。
図5および6を用いて、本実施例に係わる撮像装置が本実施例の露出制御を行って取得する所定の画像を利用するアプリケーションの例について説明する。図5は、1回の露光で得られた撮像信号を処理して生成された5種類の画像501、502、503、504、505を示す。それぞれの画像には、撮像装置に近い側から順に511、512、513で示す被写体が存在している。図5の画像配列において、横方向は視点の変更に対応し、縦方向はピント位置の変更(=いわゆるリフォーカス)に対応している。つまり、画像502、503、504の組は視点が変更されて得られる画像の組み合わせであり、画像501、503、505の組はピント位置が変更されて得られる画像の組み合わせである。
視点が変更されて得られた画像502、503、504の組を見ると、被写体の距離に応じて画面内の位置が変化しているが、ピントは中央の被写体512に固定されている。このような画像は、例えば、疑似的な運動視差によって立体感を提示したい場合などに有効である。別の例としては、視点の異なる画像を左右の眼にそれぞれ提示可能なデバイスにおいては、視点変更により得られた画像のうちの1組(=2枚)を提示することで立体視が可能となる。
ピント位置が変更されて得られる画像501、503、505の組を見ると、ピントが合っている被写体が画像501では511、画像503では512、画像505では513となっているが、各画像に写っている被写体の位置は変化していない。これらの画像は、例えば、リフォーカスによる新しい画像表現を提示したい場合などに有効である。
次に、図6を用いて図5で示した画像を生成する場合の具体的な画素の信号処理構成を説明する。図6(a)は、視点が変更された画像を得る場合の信号処理の構成を模式的に示し、図6(b)はピント位置が変更された画像を得る場合の信号処理の構成を模式的に示す。
図6(a)および(b)において上段に示した3つの円と格子は、図2(b)と同様に、素子正面から見たマイクロレンズおよび撮像素子を示す。図6において、620、640、641、642はマイクロレンズを、620a、620b、620cはマイクロレンズ620下の画素を、631、632、633は視点の異なる画像を、640a、640cはマイクロレンズ640下の分割画素を示す。また、641、641b、641cはマイクロレンズ641下の画素を、642a、642cはマイクロレンズ642下の画素を、651、652、653はピント位置の異なる画像をそれぞれ示す。また、図6では、説明を簡単にするために1つのマイクロレンズに3x3の分割画素が対応するNθ=3の配置構成を示しているがこれに限られるものではないことは、図2の場合と同様に、これに限られるものではない。
視点が変更された画像を生成する構成について図6(a)を用いて説明する。本実施例で示した撮影光学系においては、図6(a)に示すように、各マイクロレンズに対して相対的な位置が同じ分割画素データを集めることにより視点が変更された画像(=視差像)を生成することができる。図6(a)の例では、画像631、632、633が、それぞれ異なる位置から被写体を観察した画像になっている。また図6(a)の視差画像の生成構成から明らかなように、視差画像は画素信号の並び替えのみで生成され、加算などの演算操作は行う必要がない。これは、後述するリフォーカス画像の生成と異なる点である。図3を用いて説明した本実施例に係わる露出制御動作によれば、ステップS309でケラレが最も少ない視差を求め、ステップS310でステップS309において選ばれた視差の視差画像を生成する。これは、図6(a)の生成構成では、マイクロレンズ620に対して中央に位置する画素620bを選択し、他のマイクロレンズに対しも相対的な位置が同じ分割画素データを集めて画像632を生成していることに対応する。その後、ステップS308において、画像632に基づいて露光条件を決定する。すなわち、画像632が適正な露光状態となる。これにより、各視差画像は適切に、またはやや露光量が少なく露光されるものの大幅に不適正な露光状態とはならないので、視点変更を伴うアプリケーションにすぐに提供可能な撮影画像を取得することができる。
ピント位置が変更された画像を生成する構成について図6(b)を用いて説明する。図6(b)に示す例では、説明を簡単にするために加算方向を横方向の1軸に限って説明する。つまり、ライトフィールド情報は角度2次元、位置2次元の4次元で表現されているが、ここではそのうちの2次元(ともに図6(b)の横方向の角度の1次元と位置の1次元)のみを用いて説明する。
本実施例で示した撮影光学系においては、図6(b)に示すように加算する位相を変化させることでピント位置を変更した画像を生成することができる。図6(b)の例では、画像651、652、653がそれぞれピント位置が異なる画像となっている。被写体にピントが合っている場合は、被写体上の同じ点からの光束は通過する瞳領域によらず同じ点に結像する。これがいわゆるピントが合っている状態である。例えば、マイクロレンズ641に被写体上の同じ点からの光束が入射しているので、マイクロレンズ641に対応する分割画素641a、641b、641cを加算した信号を生成し、他のマイクロレンズについても同に生成された信号を並べて画像652を得る。画像652は、マイクロレンズ641でピントが合っている被写体がくっきりとしている画像(撮影画像)として提示される。ピント位置を画像652とは異なる位置に変更する場合は、加算する位相を変化させればよい。例えばマイクロレンズ641に対して中央に位置する画素641bに、隣接するマイクロレンズ640の左側に偏って存在する画素640aと隣接するマイクロレンズ642の右側の画素642cを加算する。他のマイクロレンズに対しても同様の位相関係にある画素を加算した信号を並べて、画像651を得る。画像651は、画像652とは異なった位置にピントが合った画像となる。同様に641b、640c、642aとなるような位相関係で画素を加算すると画像653を得る。画像653と画像651はそれぞれ反対方向にピントをずらした画像(再構成画像)となる。
図6(b)を用いて説明したように、ピント位置の変更は分割画素の加算を伴う。これは本実施例に係わる撮像装置において、ピント位置の変更は信号の畳み込みを伴うためである。すなわち、これまでのカメラ(=ライトフィールドカメラではないカメラ)ではレンズのみを用いて光線の畳み込みが行われていたが、いわゆるライトフィールドカメラでは信号処理によって畳み込み処理がなされる。畳み込みで加算されるものが前述したように被写体上の同一の点に対応していればピントがあっており、異なる点に対応していればピントが外れている。
図3に示す露出制御動作では、ステップS307で加算像を生成しているが、これは図6(b)の画像652に対応するものである。またステップS304からステップS305、S306を経由した場合は、主被写体にピントが合ったリフォーカス状態が選択される。図6(b)においてはピントの状態に応じて画像651、652、653のいずれかがステップS307で生成され、その後ステップS308で画像651、652、653に基づいて露光条件が決められる。すなわち、画像651、652、653が適正露光状態となる。
図6(a)および図6(b)に示すように、視点の変更とピント位置の変更という操作を考えた場合、一方は画素の加算を伴わない処理であり、他方は画素の加算を伴う。つまり、図6(a)の画像631、632、633に対して画像651、652、653は加算が行われているために信号レベルが高く、いわゆる明るい画像になる。本発明はそのいずれかの状態を適正な露光状態にするかどうかを決定する発明であり、ユーザーが優先した機能に応じて画像の提示がより容易になるように露光状態が決定される。そして、カメラシステム制御部5の制御により、露光状態の決定に使用された画像を表示部9又はメモリ部13に出力することで、図5に示す画像利用を可能にすることができる。
以上に説明したように、本発明によれば、撮影光学系のケラレがある状態にあっても、ユーザーが優先的に設定した撮影機能に応じた露出条件を決定できる撮像装置を提供することが出来る。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるCPU等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (17)

  1. 撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、
    前記光束を前記複数の画素で光電変換することにより生成される画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、
    前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定手段と、
    を備え、
    前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから前記ケラレ状態に従って選択された画素データに基づいて前記露光条件を決定する第1の露光モードと、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを前記射出瞳領域に関して加算することにより得られるデータに基づいて前記露光条件を決定する第2の露光モードとを有することを特徴とする撮像装置。
  2. ユーザーによる設定を受け付ける設定手段をさらに備え、
    前記露光条件決定手段は、前記ユーザーによる設定に基づいて前記第1の露光モードと前記第2の露光モードとを切り替え、前記ユーザーによる設定は、少なくとも連写速度、再構成画像の出力、露出条件の決定でのノイズ対策に関する設定の内のいずれか1つを含むことを特徴とする請求項1に記載の撮像装置。
  3. 露光モードに従って、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから所定の画像を生成する画像生成手段をさらに備え、
    前記露光条件決定手段は、前記所定の画像に基づいて前記露光条件を決定することを特徴とする請求項1に記載の撮像装置。
  4. 前記第1の露光モードにおいて前記画像生成手段によって生成される前記所定の画像は、視差画像であり、
    前記露光条件決定手段が露光モードを前記第1の露光モードに切り替えた場合は、前記画像生成手段は、各画素における画素面積とケラレが生じていない面積との比に従って、前記決定されたケラレ状態に基づいて選択された画素データから前記視差画像を生成することを特徴とする請求項3に記載の撮像装置。
  5. 前記第2の露光モードにおいて前記画像生成手段によって生成される前記所定の画像は、撮影画像であることを特徴とする請求項3に記載の撮像装置。
  6. 前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから生成される再構成画像に基づいて前記露光条件を決定する第3の露光モードをさらに有し、前記ユーザーによる設定に基づいて前記第1の露光モード、前記第2の露光モードおよび第3の露光モードを切り替えることを特徴とする請求項2に記載の撮像装置。
  7. 露光モードに従って、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから所定の画像を生成する画像生成手段をさらに備え、
    前記第3の露光モードにおいて前記画像生成手段によって生成される前記所定の画像は、再構成画像であり、
    前記露光条件決定手段が露光モードを前記第3の露光モードに切り替えた場合には、前記画像生成手段は、前記設定手段で設定される像面に従って、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを用いて光学像のデフォーカス量を算出し、算出された前記デフォーカス量に基づいて、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを選択して加算することにより、前記再構成画像を生成することを特徴とする請求項6に記載の撮像装置。
  8. マイクロレンズを2次元に配列したマイクロレンズアレイをさらに備え、
    各マイクロレンズは、前記撮像手段の複数の画素のうちの所定数の画素に対応し、
    前記第1の露光モードにおける前記画素データの選択は、各マイクロレンズに対応する前記所定数の画素のうちの所定の画素データの選択であり、
    前記第2の露光モードにおける前記画素データの加算は、各マイクロレンズに対応する前記所定数の画素についての画素データの加算であることを特徴とする請求項6に記載の撮像装置。
  9. 前記第3の露光モードにおける前記画素データの選択は、前記光束を前記所定数の画素のうちの前記複数の画素で光電変換することにより生成される前記画素データから像面における再構成画像の画素に対応する画素データの選択であることを特徴とする請求項8に記載の撮像装置。
  10. 前記所定の画像を出力する出力手段と、
    前記出力手段から出力された画像を表示する表示手段と、
    前記出力手段から出力された画像を記憶する記憶手段とをさらに備えることを特徴とする請求項3に記載の撮像装置。
  11. 前記撮影光学系は絞りを含み、
    前記撮影光学系の構成に関する情報は、前記撮像手段と前記絞りとの距離、Fナンバー、前記撮影光学系の撮影レンズの枠と前記撮像手段との距離、および像高の情報を含むことを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
  12. 撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置の制御方法であって、
    前記光束を前記複数の画素で光電変換することにより生成される画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定ステップと、
    前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定ステップと、
    を備え、
    前記露光条件決定ステップは、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから前記ケラレ状態に従って選択された画素データに基づいて前記露光条件を決定する第1の露光モードと、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを前記射出瞳領域に関して加算することにより得られるデータに基づいて前記露光条件を決定する第2の露光モードとを有することを特徴とする制御方法。
  13. コンピュータに請求項12の制御方法を実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
  14. 撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、
    前記射出瞳領域の一部に対応する画素から得られる画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、
    前記露光条件決定手段によって決定される前記露光条件に基づいて前記撮像手段の露光を制御する制御手段と、
    前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定手段と、
    を備え
    前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから前記ケラレ状態に従って選択された前記画素データに基づいて前記露光条件を決定することを特徴とする撮像装置。
  15. 前記撮影光学系は絞りを含み、
    前記撮影光学系の構成に関する情報は、前記撮像手段と前記絞りとの距離、Fナンバー、前記撮影光学系の撮影レンズの枠と前記撮像手段との距離、および像高の情報を含むことを特徴とする請求項14に記載の撮像装置。
  16. マイクロレンズを2次元に配列したマイクロレンズアレイをさらに備え、
    各マイクロレンズは、前記撮像手段の複数の画素のうちの所定数の画素に対応していることを特徴とする請求項14に記載の撮像装置。
  17. 第1の露光モードにおける前記画素データの選択は、各マイクロレンズに対応する前記所定数の画素のうちの所定の画素データの選択であることを特徴とする請求項16に記載の撮像装置。
JP2014185232A 2013-10-23 2014-09-11 撮像装置、その制御方法およびプログラム Active JP6397281B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014185232A JP6397281B2 (ja) 2013-10-23 2014-09-11 撮像装置、その制御方法およびプログラム
US14/518,230 US9554054B2 (en) 2013-10-23 2014-10-20 Imaging apparatus and its control method and program
EP14003617.9A EP2866430B1 (en) 2013-10-23 2014-10-23 Imaging apparatus and its control method and program
CN201410571902.0A CN104580921B (zh) 2013-10-23 2014-10-23 摄像设备及其控制方法
KR1020140143897A KR20150047112A (ko) 2013-10-23 2014-10-23 촬상장치, 그 제어 방법 및 기억매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013220217 2013-10-23
JP2013220217 2013-10-23
JP2014185232A JP6397281B2 (ja) 2013-10-23 2014-09-11 撮像装置、その制御方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2015109635A JP2015109635A (ja) 2015-06-11
JP2015109635A5 JP2015109635A5 (ja) 2017-10-19
JP6397281B2 true JP6397281B2 (ja) 2018-09-26

Family

ID=51794712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014185232A Active JP6397281B2 (ja) 2013-10-23 2014-09-11 撮像装置、その制御方法およびプログラム

Country Status (5)

Country Link
US (1) US9554054B2 (ja)
EP (1) EP2866430B1 (ja)
JP (1) JP6397281B2 (ja)
KR (1) KR20150047112A (ja)
CN (1) CN104580921B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6758946B2 (ja) 2015-09-09 2020-09-23 キヤノン株式会社 撮像装置及び再生装置
US10001654B2 (en) * 2016-07-25 2018-06-19 Disney Enterprises, Inc. Retroreflector display system for generating floating image effects
CN109937382B (zh) 2016-08-26 2020-12-18 华为技术有限公司 成像装置和成像方法
JP2018050231A (ja) * 2016-09-23 2018-03-29 キヤノン株式会社 撮像装置、撮像方法および撮像制御プログラム
US10602051B2 (en) * 2017-03-28 2020-03-24 Canon Kabushiki Kaisha Imaging apparatus, control method, and non-transitory storage medium
EP3422723B1 (en) * 2017-06-30 2023-04-26 InterDigital VC Holdings, Inc. Method for encoding and decoding at least one matrix of image views obtained from data acquired by a plenoptic camera, and corresponding electronic devices

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7723662B2 (en) 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
JP2008070510A (ja) 2006-09-13 2008-03-27 Pentax Corp 撮像装置
JP4867554B2 (ja) 2006-09-29 2012-02-01 カシオ計算機株式会社 電子カメラ、撮像制御プログラム及び撮像制御方法
JP5159515B2 (ja) * 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
JP5213813B2 (ja) * 2009-08-18 2013-06-19 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2011182304A (ja) * 2010-03-03 2011-09-15 Renesas Electronics Corp 撮像装置及びその制御方法
JP5457240B2 (ja) 2010-03-18 2014-04-02 富士フイルム株式会社 立体撮像装置
JP5411842B2 (ja) 2010-12-07 2014-02-12 シャープ株式会社 撮像装置
US20140176592A1 (en) * 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
JP5473977B2 (ja) * 2011-04-14 2014-04-16 キヤノン株式会社 撮像装置およびカメラシステム
JP5618943B2 (ja) 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP6095266B2 (ja) * 2012-01-13 2017-03-15 キヤノン株式会社 画像処理装置及びその制御方法
JP5898501B2 (ja) * 2012-01-13 2016-04-06 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
CN104205808B (zh) * 2012-03-30 2020-06-05 株式会社尼康 摄像装置以及摄像元件

Also Published As

Publication number Publication date
US9554054B2 (en) 2017-01-24
EP2866430A1 (en) 2015-04-29
KR20150047112A (ko) 2015-05-04
JP2015109635A (ja) 2015-06-11
EP2866430B1 (en) 2018-08-29
CN104580921B (zh) 2018-04-03
CN104580921A (zh) 2015-04-29
US20150109522A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
JP6397281B2 (ja) 撮像装置、その制御方法およびプログラム
US9826215B2 (en) Stereoscopic image pickup unit, image pickup device, picture processing method, control method, and program utilizing diaphragm to form pair of apertures
JP5988790B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP6341736B2 (ja) 撮像装置、制御方法、プログラム、記憶媒体
US9208569B2 (en) Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data
JP6202910B2 (ja) 映像処理装置およびその制御方法、プログラム
US9344617B2 (en) Image capture apparatus and method of controlling that performs focus detection
JP5914192B2 (ja) 撮像装置及びその制御方法
US20200252568A1 (en) Image sensor and image capture apparatus
US20150287208A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
JP2017005689A (ja) 画像処理装置および画像処理方法
JP2016001853A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP6478587B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP2012150826A (ja) 画像合成装置及びプログラム
JP6012396B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP6056160B2 (ja) 自動合焦装置、自動合焦方法及びプログラム
JP5743769B2 (ja) 画像処理装置および画像処理方法
JP2019009694A (ja) 撮像装置、制御方法、及びプログラム
JP6188290B2 (ja) 測距装置、撮像装置、ピント評価方法、プログラム及び記憶媒体
JP6157290B2 (ja) 再生装置、再生装置の制御方法およびプログラム
JP2016220016A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
US20180109720A1 (en) Image processing apparatus, image processing method, and storage medium
JP5853510B2 (ja) 撮像装置
JP6377225B2 (ja) 画像処理装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170905

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180831

R151 Written notification of patent or utility model registration

Ref document number: 6397281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151